精銳部隊守京師
當時的蒙古軍隊被稱之為“鐵蹄旋風”，聲威遠播，他們攻城略地，所向披靡，且凶猛狠辣。故此，兵鋒所指令人膽寒、談之色變。蒙古軍隊何以有如此赫赫雄威，這與他們的軍事製度及蒙古人能征善戰是分不開的。
忽必烈建國以後，為保持強大國力，尤其注意軍事建設，他總結以前的軍事經驗，改革了成吉思汗以來的軍政合一製度，實行軍民分治，使軍職不得幹預民政，確立了當時世界上無與倫比的軍事製度。
忽必烈日常確立的軍事製度，主要分為宿衛軍和鎮戍軍兩大係統。
宿衛軍係統的主要職責是守衛京師，戰時出征。忽必烈建立的宿衛軍隊由怯薛軍和侍衛親軍兩部分構成。
怯薛軍是成吉思汗建立大蒙古國時期由稱為那可兒（夥伴之意）的親兵組成的侍衛部隊，當時確立編製為人員為一萬人，其中宿衛一千人、箭筒士一千名、散班八千名。其成員皆為蒙古各千戶征召的精銳之士和貴族子弟，主要職責是護衛大汗、宮廷服役和參預軍政事務的管理。
他們平時分四班輪流護衛大汗營帳，戰時隨大汗出征，作為軍隊中堅力量，專打硬仗，是大汗手中掌握一支可以左右戰局的強大武裝。
忽必烈即位以後，保留了怯薛建製，但其原來掌管的軍政領導事務，皆移交給了新設的中書省和樞密院等機構，怯薛軍僅僅成了負責保障皇帝安全、掌管宮城和皇室大帳防衛以及護駕出征、宮廷服役等。
忽必烈時期，怯薛軍常額在一萬人以上，最多時達到十五萬人。
隨著政權的日益鞏固，大汗出征的次數越來越少，怯薛軍的主要職責就成了列值禁庭以充護衛侍從了。但他們憑借皇帝近侍的身份，也常常幹預政治，並獲得優先選拔為高級軍政官員的特權。
為了保證皇帝的安全，忽必烈規定，怯薛軍由皇帝或親信大臣直接節製，他人不得幹預。
忽必烈於中統元年（1260年）又建立了一支“武衛軍”，人數約三萬餘人，四年後改稱為“侍衛親軍”，分為左、右兩翼。
至元八年（1271年）又改編為右、左、中三衛。衛設都指揮使為最高長官，衛下的建製分千戶、百戶和十戶（牌）。這種侍衛親軍製度是忽必烈采用漢法而後實行的一種混合兵製。
其中“衛”的名稱來自唐製，衛的長官“都指揮使”的名稱來自宋製，而衛下的建製則又出於蒙古舊製。
侍衛親軍的主要職責是守衛京師，其士兵最初主要來自中原漢軍萬戶屬下的軍隊，後來，蒙古和色目人不斷加進來，成份越來越複雜。
隨著民族成份的遞增，忽必烈又將侍衛親軍按民族分編為漢人衛軍、色目衛軍和蒙古衛軍幾個部分，又將其內部分工逐步固定下來，即由漢人衛軍負責扈從皇帝行幸上都、屯田、工役造作等工作；由色目衛軍和蒙古衛軍負責出征作戰和保證全國的安全和穩定，並監督以漢軍為主的地方鎮戍部隊。
侍衛親軍歸中央樞密院直接統領，軍隊數額保持在二十萬左右，逐漸取代了原來怯薛軍的軍事地位，成為元朝軍隊的主力。
嚴密布署鎮地方
忽必烈所確立的鎮守全國各地的鎮戍係統的軍隊，主要分為蒙古軍、探馬赤軍、漢軍和新附軍四種。
早期蒙古軍主要成員都是草原各部落蒙古人，後來，成吉思汗把對外戰爭中招降和擄掠來的哈剌魯、畏兀兒、唐兀、阿速、欽察、康裏、回回、阿兒渾族壯丁也編入蒙古軍隊中。
忽必烈建國之後，沿襲這一製度，統稱他們為蒙古軍。蒙古軍為元代的主要軍隊。
探馬赤軍，起初是木華黎經略中原時，從兀魯兀、忙兀、劄剌亦兒、弘吉剌、亦乞烈思五個蒙古部落中挑選一部分士兵組成的精銳部隊，在野戰和攻打城堡時擔當先鋒。“探馬”意即“先鋒”。
探馬赤軍原來是蒙古軍的一部分，後來，民族成份不斷擴大，也吸收色目人、女真人和北方漢人等，甚至還出現了純粹由畏兀兒人組成的探馬赤軍。
漢軍是由金朝降軍、北方漢族地主武裝、早期宋朝降軍和早期蒙古在中原地區征發的士兵為基礎，經過改編而成的軍隊。忽必烈十分注意對漢軍的整頓和編製，逐步訓練成為一支戰鬥力很強的隊伍。
新附軍主要是收編南宋降軍所組成的軍隊，在蒙古各軍之中，不太受重視。
如同四等人製劃分一樣，忽必烈尤其重視蒙古軍和探馬赤軍。他規定，在京師附近的腹裏地區，主要由蒙古軍戍守；華北、陝西、四川、河南、山東等地主要由蒙古軍和探馬赤軍相參戍守；南方以蒙古軍、漢軍、新附軍駐戍，防禦重點是臨江沿淮地區。
忽必烈對新附軍不太信任，曾將其中部分編入其他軍隊，由蒙古、色目人或漢人將領統領，將其一部分安排在邊陲之地從事屯田和工役造作等工作。
另外，忽必烈還建設一些帶有鄉兵性質的軍隊，如東北的高麗軍、女真軍、契丹軍、乣軍，雲南的寸白軍，福建的佘軍等。
這些軍隊多由當地少數民族壯丁組成，負責維持地方秩序，遇有特殊情況也被調發出征或鎮戍其他地區。
忽必烈的軍隊建製還采用蒙古傳統的十進製，分為十戶、百戶、千戶和萬戶，分設長官為牌頭、百戶、千戶、萬戶和都萬戶，在非蒙古軍的萬戶和千戶部隊裏，還設有達魯花赤進行監督。
忽必烈規定，各地蒙古軍和探馬赤軍由設在山東、河南、四川、陝西的四個蒙古軍都萬戶府（都元帥府）統領，隸屬於中央的樞密院。
其餘鎮戍軍隊，隸屬於各地方行省，由行省平章管軍事。但遇有戰事，皆由行樞密院統領，調遣、更防等重要軍務，受樞密院節製。
忽必烈賦予樞密院掌管怯薛軍以外的全部軍權，既統領中央的侍衛親軍、直轄地方上的蒙古軍和探馬赤軍，又監督各行省管軍的長官。
樞密院的長官不但有調兵權，而且直接管領軍隊，任用軍官。
忽必烈時期規定，樞密院直接聽命於皇帝，樞密院的主要長官必須由蒙古人、色目人擔任，地方上，各行省兼管軍事的平章也由蒙古和色目人擔任。
全國兵馬總數，隻有皇帝和樞密院的蒙古官員知道，行省兵馬也隻有為首的蒙古官員知道，漢人和南人不得過問。這就將從上到下的軍權統一到蒙古和包目人手中，最後聽從皇帝的指揮。
為保證軍隊的戰鬥力，忽必烈除了加強軍隊的軍事訓練以外，又加強了對各級軍官的管理，定期進行考核，考核的內容主要有五個方麵，即治軍有法，鎮守無虞，鎧仗精完，差役平均，軍無逃竄。嚴格禁止軍官役使和“不恤”士卒。
因為忽必烈利用和籠絡了漢人、南人中的軍事人才，使當時的兵源得到了保證；各級主要軍事長官皆由蒙古和包目人擔任，使蒙古和包目人上層緊緊地控製了軍權；又加強了軍隊訓練和軍官的管理，保證了軍隊的戰鬥力，加強了對地方的控製，保證了全國的穩定。可以說，忽必烈的軍事部署，比起他的前人來，高出一籌。
建設水兵和炮兵
忽必烈執政時期，其部隊主要兵種有騎兵、步兵、炮手軍和水軍。
蒙古軍和探馬赤軍主要是以騎兵為主。
蒙古民族是一個遊牧民族，自幼學習騎馬射箭，在馬鞍上長大，所以也被稱為“馬背民族”。
這種優越條件，促使蒙古軍成為當時景為精銳的騎兵隊伍。探馬赤軍主要由蒙古人構成，其他各族也主要是遊牧民族，因而容易組成騎兵隊伍，蒙古騎兵行軍作戰主要使用輕便的環刀、大斧和長短槍等武器，行軍作戰都比較靈巧方便。
通常每個騎兵有一匹或多匹從馬，以便長途行軍時輪換乘騎，且很少攜帶笨重輜重物品，因此，作戰的衝擊力和長途奔襲的快速機動能力都要大大超過其他軍隊。