我國早期的軍隊中，沒有將軍這一職務，掌管軍事的官員稱司馬。當時，國家軍隊的數量並不多，天子隻有六軍（每軍2500人），諸侯最多不超過三軍。各軍的統帥叫卿，卿以下叫大夫，大夫以下叫士。
到了春秋時代，諸侯戰爭頻繁，各諸侯便想盡辦法擴充兵力，一些大國常擁有比三軍更多的兵力，但在編製上，他們又隻能有三軍，隻能設三卿。於是，有些諸侯就把擴充軍的統帥稱為“將軍”，意即率領一軍的意思。行軍打仗時，軍隊得由一人統一指揮，方能發生效力。因此，便在將軍中選拔出大將軍或上將軍來全盤指揮。
到漢朝時期，軍隊數量更多，單設一位大將軍管不過來了，於是又出現了不同級別的驃騎將軍、車騎將軍、衛將軍等職位。
晉朝的將軍名目眾多，除驃騎、車騎、衛將軍外，還有伏波、撫軍、都護、鎮軍、中軍、四鎮、四征等大將軍。南北朝時將軍名目更多，權位也不一。
唐代以後，有上將軍、大將軍、將軍，或環衛官、武散官。到了宋、元、明三朝，多以將軍為武散官；殿廷武士也稱將軍。明清兩代，有戰事出征的時候，才置大將軍和將軍，戰爭結束則免去。清朝，將軍成為宗室的爵號之一，而駐防各地的軍事長官也稱將軍。