我國什麼時候開始建有軍隊？這個問題一直沒有定論。
史書記載中最早的說法是在上古的神農時期。唐代杜佑編撰的《通典》第148卷記載：“三皇無為天下以治，五帝行教兵是興。所謂大刑用甲兵而陳諸原野。於是有補遂（有的書作斧遂，傳說中的古代部落）之戰，阪泉之師。”銀雀山漢墓出土的《孫臏兵法》“見威王”一段中也有“神戎戰斧遂”的記載。最近出現的《中國軍事史·曆代戰爭年表》也收錄了這次戰爭，並根據南宋羅泌的《路史·後記三》改為“神農伐斧遂”。這些記載說明了在神農時期已建有軍隊，而且還因斧遂對神農不臣伏，神農領兵去討伐，但許多同誌認為神農伐斧遂是古代的傳說，很可能是一次部落衝突（戰爭）。因為那時還沒有階級，沒有國家。從當時的社會生產力看，似乎也不具備建立軍隊的條件。當然也不排除部落中有少數從事軍事工作的人員。隻是由於缺乏當時的文手記載，無法進一步考證。
另一種記載是：在原始社會末期，也就是公元前26至前22世紀黃帝時期。漢代司馬遷撰寫的《史記·五帝本紀》記載：“炎帝欲侵陵諸侯，諸侯鹹歸軒轅。軒轅乃修德振兵，……與炎帝戰於阪泉之野。……蚩尤作亂，不用帝命，於是黃帝乃征師諸侯，與蚩尤戰於涿鹿之野。”以上這段文字中“修德振兵”的兵字，指的就是軍隊。“征師諸侯”的師，指的也是軍隊。而是從諸侯那裏征調來的。這段文字說明，不僅皇帝有軍隊，而且諸侯也有軍隊。明代編纂的《永樂大典》也把它收在8275卷中，但是大家認為《史記·五帝本紀》是根據先秦古籍中的有關傳說編寫的，雖然作者查閱了大量的先秦古籍，並進行了調查研究，揚棄了“神農伐斧遂”，仍難免有情況不確之處；所以現行的許多曆史書上，在記述曆史上的軍隊時，也沒有吸收這一觀點。
再有一種記載是：公元前21世紀，我國第一個奴隸主專政的王朝——夏朝的建立才建有軍隊。《尚書·甘誓》記述了夏帝啟與有扈氏“大戰於甘”。戰前，召集了六軍的統領——六卿，進行了動員。《史記·夏本紀》也有載：“有扈氏不服，啟伐之，大戰於甘。將戰，作甘誓，乃召六卿申之。”現行的曆史教材也都把夏朝作為奴隸社會的起點，奴隸主貴族為了統治奴隸階級的平民，開始建立軍隊，製定刑法，修造監獄。《中國大百科全書·軍事》也采用了這一說法。從國家學說的角度看，夏朝建有軍隊是不用懷疑的，夏朝的奴隸主貴族為了維護階級統治，必然會建有軍隊。但是，也有的同誌認為，夏朝的地下文物至今還尚未得到考古界確切的鑒定，夏朝的曆史基本上也是依據古代的傳說整理。如果僅是根據《尚書·甘誓》論證軍隊，那是不夠的，因為這篇文章也還有爭議，有的認為是後人依據傳說的追記或假托，不能作為信史。
再有一種記載是：在公元前16至前12世紀殷代。從河南安陽殷墟出土的甲骨文中已有“口戈”（國）字，字意是用武力保衛人口，這個武力意味著是軍隊。甲骨文中還有“王乍三自右中左”的記載。“自”是師的簡寫，“乍”是作字，創立的意思。聯起來是：王創立了以師為編製單位的右、中、左三支軍隊。甲骨文還記述了商代的軍隊，由徒兵和車兵組成，師是最大的、固定的編製單位，每個師約有10000人。軍隊使用銅製兵器，采用10進製編組，有百人團體和千人團體。車兵使用的戰車，編有駕馬兩匹或四匹。車上有甲士三人，一人禦車，一人持戈矛，一人操弓箭。車後跟隨徒卒。從這些資料看，商代的軍隊無論在數量上、在組織裝備上、作戰方式上都達到了一定的水平。但是，事物總是有一個由低級向高級逐步發展的過程，而軍隊也不例外。那麼，軍隊究竟建立在什麼時候？看來還有待大家進一步探討。