忽必烈即位之後，對軍製進行了重大改革，從軍隊編製，指揮係統到軍隊管理、後勤供應等，都實行了一套比較完備的製度。
軍隊編製體製
蒙古國時期，軍隊分成蒙古軍和漢軍兩大類。到元朝統一全國後，忽必烈把全國軍隊分成為中央宿衛軍隊和地方鎮戍軍隊兩大組織係統，確定了元軍的編製和隸屬關係。嗣後元朝諸帝又在這兩大組織係統中對某些軍隊和軍府進行了調整。
1.侍衛親軍與怯薛
元朝的中央宿衛軍隊由蒙古政權原有的怯薛組織和新建的侍衛親軍組織構成。
忽必烈即位初年，原來的蒙古怯薛軍一分為二，一部分歸屬於阿裏不哥，一部分歸屬於忽必烈。忽必烈很快從屬下的蒙古千戶中又征集了一批護衛士，使怯薛組織又達到了1萬人的定額。除了蒙古人外，色目人、漢人乃至南人也大量湧入怯薛組織。以後元朝政府不斷“沙汰”怯薛中的漢人和南人，核定怯薛人數。到了元文宗時，怯薛宿衛士有1.3萬餘人。
侍衛親軍組織始建於中統元年（1260）。第一個衛軍組織稱為武衛軍，兵員3萬人左右，士兵來源於中原各漢軍萬戶屬下的軍隊。以後又改名為左、右翼侍衛親軍，左、右、中三衛。至元十六年，南宋滅亡，忽必烈調整軍隊布局，增加侍衛親軍兵力，將三衛軍擴充為前、後、左、右、中五衛，後又增設了武衛、虎賁衛、忠翊衛、海口侍衛等衛軍機構，以漢軍為主體，稱為漢人衛軍；將原來隸於蒙古軍籍的色目“諸國人之勇悍者聚為親軍宿衛”，先後設立了唐兀、欽察、貴赤、西域（又稱阿兒渾）、阿速、隆鎮、龍翊、斡羅思等衛軍機構，稱為色目衛軍。部分蒙古探馬赤軍人和從草原上流散出來的蒙古人口，也被編入侍衛親軍組織，設立蒙古侍衛與宗仁衛等機構，稱為蒙古衛軍。此外，還在東宮（後轉給後宮或樞密院）之下設立了幾個衛軍機構。到元文宗時，衛軍的總人數在20萬至30萬之間，漢軍士兵約占2/3.
怯薛和侍衛親軍隸屬關係不同。怯薛由怯薛長掌管，直接與皇帝發生關係。侍衛親牢由各衛都指揮使司掌管，除東宮衛軍外，均隸屬於專掌軍政的樞密院之下。
怯薛和侍衛親軍在職能上有明確的分工。怯薛負責皇帝的安全，掌管宮城和皇帝大帳的防衛，一般不外出作戰；侍衛親軍則既要負責元朝兩個都城大都（今北京市）、上都（今內蒙古正藍旗東）的安全和“腹裏”（元中書省直轄地區，包括今河北、山東、山西三省及內蒙古部分地區）的鎮戍，又是朝廷用以“居重馭輕”的常備精銳部隊，隨時可以派出去鎮壓地方的起義、叛亂和抵禦外來的侵擾。由於充當侍衛親軍的多是各軍中的精銳士兵，因此侍衛親軍成為元軍的中堅力量，取代了蒙古國時期怯薛作為全軍“大中軍”的軍事地位。
2.地方鎮戍軍隊
地方鎮戍軍隊由駐牧在草原上的蒙古軍和分散在全國各地鎮守的探馬赤軍、漢軍和新附軍等構成。
蒙古軍仍然保持著有戰事傳檄集合，平時散歸各部的狀態。千戶組織還是蒙古軍的基本組織形式。南宋滅亡後，參戰的探馬赤軍除部分被編入侍衛親軍組織外，都被元廷收聚到山東、河南、陝西、四川軍事要地屯駐。探馬赤軍人的家屬也陸續從草原遷往中原駐地。從至元二十年（1284）開始，元廷陸續設置了山東河北、河南淮北、陝西、四川四個蒙古軍都萬戶府，立司於濮州（今山東鄄城北）、洛陽、鳳翔和成都，分掌探馬赤軍。四個都萬戶府所屬探馬赤軍人的總人數，大約在5萬人至8萬人之間。
忽必烈即位之後，為發動滅宋戰爭，又從中原地區簽軍近20萬人，補充漢軍。全國統一後，元廷將招降來的新附軍（原南宋軍隊）與漢軍混編在一起，摻入部分色目軍人，分布在各行省戍守，設立了近百個萬戶府、元帥府分管這些軍隊。在一些少數民族聚居的地方，也編組了由當地民族人組成的軍隊，如遼東有高麗軍、女直軍，雲南有寸白軍（又稱爨軍），湖廣有土軍、黎兵、洞兵、福建有佘軍，吐蕃地區有吐蕃軍，等等。這些軍隊，主要被用來維係當地的安寧，由在當地設置的萬戶府、元帥府等機構兼管。
元朝軍隊的兵種，大體上蒙古軍、探馬赤軍以騎兵為主，漢軍和新附軍以步兵為主。炮軍和水軍人數較少，一部分分編在各種軍隊中，一部分由炮水手元帥府、水軍元帥府、水軍萬戶府掌管。
元代還有一種專門用來隨大軍出征擄掠財物的人，稱為“答剌罕軍”或“乾討虜軍”，實際上是一些政府不給糧餉、不入兵籍的所謂“無籍軍”，多由無賴僥幸之徒組成。這種人到處擄掠，禍害地方，元廷每每不得不加以約束收編。
軍事指揮係統
忽必烈即位之後，為加強中央集權，改變了蒙古國時期大汗，宗王，萬戶長、千戶長等一統到底和都元帥節製漢軍的軍事領導體製，在中央設立樞密院，作為掌管全國軍政的最高機構，地方統軍機構幾經變化後也基本趨於穩定，形成了一套製度。
1.樞密院
樞密院設立於中統四年（1263）五月，負責調發和管理全國軍隊、籌劃軍事部署、銓選武官及為軍隊提供後勤保障。軍隊的通信、馬政等務，由中書省兵部負責，不歸樞密院掌管。
樞密院初設時隻置樞密使、副使、僉書樞密事等職，後來增置了同知樞密院事、知樞密院事、同僉書樞密院事等職。皇太子兼樞密使。知樞密院事是樞密院的實際最高長官。知院原設一員，後來增至7至10餘員。成宗朝以後，由皇帝指定一名知院為諸院之長，總管樞密院事務。知院和同知按規定必須由蒙古人或少數色目人充任，副使以下才參用漢人。
樞密院向皇帝奏報軍情要務，一般情況下不經過中書省。重大的軍事決策，皇帝要召集中書省和禦史台等中樞機構官員與樞密院官員一同商議。蒙古皇帝每年夏季赴上都避暑，樞密院官員大多隨行，隻留副使或僉院一、二員於大都，暫管樞密院事務。重要的公文和軍事奏報都要轉送上都，由跟隨皇帝的院官處置。如果發生突然事變，留守大都的院官可以調動軍隊和采取緊急措施。