當時的蒙古軍隊被叫作“鐵蹄旋風”，揚名萬裏，他們攻城略地，所向披靡，且凶猛狠辣。所以，兵鋒所指令人膽寒、談之色變。蒙古軍隊為什麼有如此赫赫雄威，這與他們的軍事製度及蒙古人能征善戰是分不開的。
忽必烈建國以後，為保持強大國力，特別注意軍事建設，他總結以往的軍事經驗，改革了成吉思汗以來的軍政合一製度，實行軍民分治，讓軍不幹民，確立了當時世界上最為先進的軍事製度。
忽必烈日常確立的軍事製度，主要分為宿衛軍與鎮戍軍兩大係統。
宿衛軍係統的主要職責是守衛京師，戰時出征。忽必烈建立的宿衛軍隊由怯薛軍與侍衛親軍兩部分組成。
怯薛軍是成吉思汗建立大蒙古國時期由叫作那可兒（夥伴之意）的親兵組成的侍衛部隊，當時確立編製人員為一萬人，其中宿衛一千人，散班擔當先鋒。“探馬”便是“先鋒”。
探馬赤軍本來是蒙古軍的一部分，後來，隨著民族成份的增強，也吸收色目人、女真人和北方漢人等，甚至還出現了純粹由畏兀兒人組成的探馬赤軍。
漢軍是由北方漢族地主武裝、金朝降軍、早期宋朝降軍與早期蒙古在中原地區征發的士兵為基礎，整編而成。忽必烈非常注意對漢軍的整頓與編製，逐步訓練成為一支非常強大的軍隊。
新附軍主要是收編南宋降軍所組成的軍隊，在蒙古各軍之中，不太引人注目。
與四等人製劃分一樣，忽必烈特別重視蒙古軍和探馬赤軍。他規定，在京師附近的腹裏地區，主要由蒙古軍戍守；華北、陝西、河南、四川、山東等地主要由蒙古軍和探馬赤軍相參戍守；南方以漢軍、蒙古軍、新附軍駐戍，防禦重點是臨江沿淮地區。
忽必烈對新附軍不是很相信，曾將其中部分編入其他軍隊，由色目人、蒙古、
或漢人將領統領，將其一部分安排在邊陲之地從事屯田與工役造作等工作。
另外，忽必烈還建設一些帶有鄉兵性質的軍隊，像東北的高麗軍、女真軍、契丹軍、幼軍，福建的佘軍，雲南的寸白軍等。
這些軍隊多由當地少數民族壯丁組成，負責維持地方秩序，遇有特殊情況也被調發出征或鎮戍其他地區。
忽必烈的軍隊建製還采取蒙古傳統的十進製，分為十戶、百戶、千戶與萬戶，分設長官為牌頭、百戶、千戶、萬戶與都萬戶，在非蒙古軍的萬戶和千戶部隊裏，還設立有達魯花赤進行監督。
忽必烈規定，各地蒙古軍與探馬赤軍由設於山東、四川、河南、陝西的四個蒙古軍都萬戶府（都元帥府）統領，隸屬於中央樞密院。
其餘鎮戍軍隊，歸屬各地方行省管理，由行省平章管軍事。但遇有戰事，都由行樞密院統領，更防、調遣等重要軍務，由樞密院節製。
忽必烈賦予樞密院掌管怯薛軍以外的全部軍權，既直轄地方上的蒙古軍和探馬赤軍，統領中央的侍衛親軍，又管理各行省管軍的長官。樞密院的長官不但有調兵權，還能管理軍隊，任命軍官。
忽必烈時期規定，樞密院直接聽命於皇帝，樞密院的主要由蒙古人與色目人擔任長官，地方上，各行省兼管軍事的平章也由蒙古和色目人擔任。
全國兵馬總數，隻有皇帝和樞密院的蒙古官員知道，行省兵馬也隻有為首的蒙古官員知道，漢人和南人不得過問。這就將從上到下的軍權統一到蒙古和色目人手中，最後由皇帝來指揮。
為保證軍隊的戰鬥力，忽必烈除了加強軍隊的軍事訓練以外，又加強了對各級軍官的管理，定期進行考核，包括有五個方麵的內容，也就是治軍有法，鎮守無虞，鎧仗精完，軍無逃竄，差役平均。嚴格禁止軍官役使與“不恤”士卒。
因為忽必烈利用和網羅了軍事人才，保證了當時的軍事力量；各級主要軍事長官皆由蒙古與色目人擔任，使蒙古和色目人上層緊緊地控製了軍權；又加強了軍隊訓練與軍官的管理，保證了軍隊的戰鬥力，加強了對地方的控製，保證了全國的穩定。
忽必烈執政時期，其部隊主要兵種有步兵、騎兵、炮手軍與水軍。
蒙古軍與探馬赤軍主要是以騎兵為主。
蒙古民族是一個遊牧民族，從小騎射，在馬鞍上長大，因此也被稱為“馬背民族”。
這種優越條件，讓蒙古軍成為那時最為精銳的騎兵隊伍。探馬赤軍主要由蒙古人構成，其他各族也主要是遊牧民族，所以組成騎兵隊伍比較容易，蒙古騎兵行軍作戰主要使用輕便的環刀、大斧與長短槍等武器，行軍作戰都很靈巧方便。
一般每個騎兵有一匹或多匹從馬，便於長途行軍時輪換乘騎，且很少攜帶笨重輜重物品，所以，作戰的衝擊力與長途奔襲的快速機動能力都要超過其他軍隊。
漢軍與新附軍主要是步兵，繼承了金宋戰法，士兵配有刀、箭、槍、戟等武器，在地形險阻的陣地戰和城塞攻防戰中發揮重要作用。
炮手軍是蒙古在多年征戰中漸漸發展起來的一個兵種。
元太祖成吉思汗九年（1214 年），大將崦木海曾受命擔任隨路炮手達魯花赤，挑選五百餘人，組成第一支炮隊，主要靠繳獲金宋大炮使用。
忽必烈在戰爭中看到了炮石的威力，很想發展炮手軍。他即位以後，聽說回回人阿老瓦丁和亦思馬因等人能夠製造回回炮，立即召至京師大都，讓他們領導工匠成批造炮，並於午門前試放，獲得成功。
至元十年（1273 年），元軍久攻襄樊不下，忽必烈遂將亦思馬因等炮匠連同大炮一起送往襄樊前線使用。亦思馬因“置炮於城東南隅，重一百五十斤，機發，聲震天地，所擊無不摧陷，入地七尺”，終於攻克了襄樊。
亦思馬因送往襄樊前線的大炮，實際上是一種巨型拋石機，還不是火藥炮。
蒙古軍隊在滅金之時曾領略了金人鐵火炮“震天雷”的威力，忽必烈所以下決心要造成自己的火炮，不久也獲得了成功。
至元十一年（1274 年）和十八年（281），忽必烈兩次東攻日本，就使用了火炮。有阪詔藏《兵器考·火炮篇》記載，元軍第一次同日軍作戰時，使用的“飛鐵炮火光閃閃，聲震如雷，使人肝膽俱裂，眼昏耳聾，茫然不知所措。”
《太平記》中也有元軍使用鐵火炮同日軍作戰的記載，球形鐵炮拋出之後，“一次可發射二三千彈丸，敵軍多人傷亡。”
當時，日本有一位名叫竹奇季長的畫家，把當時親眼目賭的情景畫了下來。
其中一幅畫麵上，左邊是元兵，右邊是日本兵，中間地帶放有一門鐵火炮，呈炸裂狀，下半完整上半已破裂。可見忽必烈時期火炮也有了重大發展。
忽必烈為了擴充炮手軍，大規模征調炮匠，組織製造兵器，開礦冶煉，設置炮手總管府、回回炮手都元帥府等機構，專門掌管炮兵，把炮手軍建設推向了一個新的高潮。
忽必烈對水軍建設也作出了很多貢獻。早期蒙古軍隻有騎兵，善於陸地作戰，水戰則束手無策。
蒙古滅金以後，發動了攻宋戰爭，宋地江河頗多，水戰很多，蒙古統治者開始意識到建立水軍的重要性。元太祖十年（1238 年），蒙古軍將領解誠在對宋作戰中奪得戰船千艘，遂被任命為水監使，建立了第一支蒙古水軍。
那時的蒙古水軍，主要靠繳獲宋朝戰船作戰，水中作戰技術及靈巧機動等方麵有許多欠缺。
忽必烈即位以後，為了改正這一弊端，把大規模建設水軍當成攻宋的首要任務來抓。他任命張榮為水軍萬戶，打造戰船，加大精力建設水軍。
忽必烈采取劉整等人建議，大規模訓練水軍，很快就形成了一支戰船千艘、士兵萬人的水上武裝。
到至元十年（1273 年），元軍集結在襄樊前線的水軍已達十六萬人，戰艦已達萬艘，已形成了一支非常強大的水軍部隊。
到至元十六年（1279 年），宋元崖山海戰時，元軍以其巨大的衝擊力和機動靈活的水上戰法，大敗宋軍，說明這時元朝的水軍已經不比宋朝差了。
忽必烈又曾出兵攻打日本、安南等國，都出動了大量戰艦，顯示了元朝水軍的威力。
由於忽必烈重視水軍建設，使元朝的軍兵種及其結構發生了重要變化，使原來僅善於陸地作戰的蒙古軍，發展為要陸戰則陸戰，要水戰則水戰，水戰陸戰皆宜的強大武裝。在中國古代軍事建設史中占有重要地位。
忽必烈的部隊兵源充足，戰鬥力強，同他所實行的兵役製度是分不開的。
忽必烈在蒙古地區仍然實施全民皆兵製度，蒙古族人不分貴賤大小，“上馬則屯備戰鬥，下馬則屯聚牧養”。
遇有戰事，“家有男子十五以上、七十以下，無眾寡，盡為軍”。十五歲以下少年皆編人“漸丁軍”（逐漸長成為丁的軍隊），體驗軍隊生活，接受軍事訓練。
因為忽必烈時期兵源充足，事實上僅為二丁簽一。
於其他各族中，主要實行軍戶製，軍人單列戶籍，父親退役兒子繼承，世代為兵。征兵時主要以民戶的財產和勞動力狀況為依據，通常多選取中戶為簽軍對象。每產單獨出一人應役者叫作獨軍戶。而那些無丁或無力服兵役的農戶，則要二三戶或四五戶合出兵員一名，出兵戶為正軍戶，其他為貼軍戶，貼軍戶要資助應征者器杖、鞍馬、盤費等。
若應役者在戍所病死。百日之後，該軍戶要派次丁替補；如果應役者戰死沙場，一年以後，該軍戶派丁替補；都軍戶貧困潦倒，或者年邁無子，經核實以後削落軍籍，但要以別家民戶替補。軍戶種田，可免稅糧四頃，叫作“贍軍地”。
忽必烈時期的軍戶都通過奧魯進行管理。奧魯，漢譯作“老小營”，指征戍軍人的家屬所在。忽必烈即位開始，沿襲以前製度，官管理軍戶。奧魯官的職責，一是從軍戶中征發丁男充軍應役，並及時起征亡故軍人的戶下子弟承替軍役，來替補軍隊的空缺。二是負責按時為本奧魯簽發的當役軍人置備器械、鞍馬、盤費等，來保障後勤供應。
三是贍養征戍地軍人老小，處理軍戶問的民事糾紛等。各路奧魯官府自成一套係統，不受地方府、路、州、縣管轄，隻受樞密院節製。後因奧魯官貪汙受賄，濟貧，剝削貧苦的軍戶，對中央集權不利。忽必烈改由地方路、府、縣長、州官兼領諸軍奧魯，管理軍戶。但蒙古軍與色目軍奧魯還保持單獨係統。
大蒙古國時期，銷煙四起，為傳達緊急軍事情報，開始設立驛站。
忽必烈統一全國後，為了“通達邊情，布宣號令”，全國各地都使用這一製度，分布區域之廣、製度之完整、組織之嚴密，都是史無前例的。
忽必烈確立的驛站製度，遍布全國，四通八達，東北可以通到黑龍江口的奴兒幹地區，北方通到葉尼塞河上遊吉利吉思部落，西南通到今西藏地區的烏思藏宣慰使司都元帥府轄境。
具體做法是在大約每隔五六十裏和百數十裏的驛路上設立一個驛站，每個驛站由若幹站戶管理，繁忙的驛站多至二三千戶，通常是百餘戶。驛站備有車輛、馬匹、船隻、床鋪和各種飲食等。
忽必烈確立的驛站分陸站與水站兩種，陸站主要有馬站、牛站、車站、轎站、步站等，使用馬、牛、驢、車等交通工具，東北地區還有狗站，用狗拉雪橇奔馳在冰封雪蓋的大地上，往來運載使者及各種貨物。
水站主要設置在南方沿海地區，以舟船為主要交通工具。
傳達緊急軍事情報等公事，使者要有圓牌作為乘驛憑證。圓牌也稱圓符，專為傳遞軍情等緊急事務而做，由朝廷鑄造和掌管。諸王公主附馬以及出征守邊將帥和地方官府，亦視其地位或需要頒給若幹麵圓牌，以備隨時差遣，但與朝廷頒發圓牌有所區別。朝廷所遣使者佩金字圓牌，諸王公主和地方官府所遣使者佩銀字圓牌。開始，圓牌上鑄有海東青圖像，叫作海青牌或海青符。
到元七年（1270 年），忽必烈重新改換牌麵，不用海東青，改鑄任用八思巴所創造的蒙古新字，漢字的意思是為“長生天氣力裏皇帝聖旨：違者治罪”。
若遇有緊急軍事情報，使者包頭束腰，帶上圓牌，乘上快馬，腰係小鈴，用最快的速度奔向下一個驛站。下一個驛站的站戶，聽到鈴聲，馬上穿戴整齊，紮好銅鈴，備好馬，等到使者飛馳而來，馬上接過文書與圓牌，再打馬飛馳下一站。
路上行人與車輛見到圓牌或聽到鈴聲，必須馬上讓路。
使者若遇到所乘馬匹疲乏或其他障礙時，可以在路上奪取馬匹，所有人不得抗拒。如此，使者就能經常得到良馬以供奔馳。這樣輾轉傳遞，軍情戰報等緊急公事就能用驚人的速度傳到指定地點。
一般公事差遣人員，不持圓牌，主要持“鋪馬聖旨”，或“劄子”作為憑證，各驛站也要供給馬匹與飲食等。
同驛站相輔而行的，還有急遞鋪，每隔三裏、十裏、十五裏和二十五裏設置一鋪，每鋪設五個人，用徒步奔跑的形式傳遞朝廷及州縣的軍政機要文書與其他緊急文書。
凡傳遞台、省、院及邊關緊要文書，用木匣來封鎖，用黑釉紅字書寫號碼並標明發送承受衙門及入遞時刻，隨到隨送。
一般公文則按所投下處分類裝封，每件上麵係一牌，用綠釉黃字書寫號碼。
在傳遞緊急文書時，鋪卒腰係革帶，上懸銅鈴，加速傳到下一輔，下鋪的鋪卒聽到鈴聲，馬上紮好腰帶與銅鈴，在鋪前等候，等到上鋪鋪卒來到鋪前，馬上接過文書奔向下一鋪，下一鋪也是這樣。
鋪卒經過的地方，車馬行人都要讓路。夜間要手持火炬，照常奔跑。依照此種方式傳遞，每晝夜需行程四百裏或五百裏，緊急文書，一晝夜要行十日之程，“百日路程之文書消息，十日可以遞至”。
元世祖忽必烈通過四通八達的驛站，來了解邊疆情況，快速傳遞中央的號令等。
後來，驛站又變為運送貨物的重要交通運輸線，對促進中央與地方的聯係以及經濟文化交流等，都起到了很大的作用。
忽必烈完善的這種驛站製度，對當時的波斯、俄羅斯、埃及等西亞、中亞諸國都產生了重要影響，在俄羅斯竟沿襲數百年都沒有消失。
忽必烈生於草原上的黃金家族，於鞍馬之間，習馬練箭，練就一手騎馬射箭的好本領。
但忽必烈又不同於一般蒙古人，不但自己能夠騎馬射箭，更重要的則是能指揮他人騎馬射箭。
在忽必烈的一生中，很少有戰役親自指揮，親自指揮的主要有長途跋涉的雲南之役、奇兵進圍鄂州之役和親征阿裏不哥、親征乃顏之役，卻取得了勝利，忽必烈都沒有打敗仗，可以看出忽必烈的戰略戰術是很高超的。
在戰略上，他不僅善於指揮士兵，而且善於指揮大將，具有統籌全局、高屋建瓴、運籌帷幄、決勝千裏的雄偉大略。
在多年的征戰中與漢族儒士的幫助下，忽必烈逐步悟出了“一天下者，以德不以力”的道理，開始改變以前一味征伐之做法，采取“攻心為上”的戰略策略。
他在平大理時，令姚樞“裂帛為旗，書止殺之令。”禁止濫殺。
滅宋戰爭發起後，要伯顏以宋朝大將曹彬為榜樣，不嗜殺掠，做他的“曹彬”。
又優待降將，示之不疑，委以重任，劉整、呂文煥、張弘範等均授以各方麵之權。
這些做法目的就是為了籠絡和瓦解敵方的軍心，以便迅速取勝。他發動滅宋戰爭，本來是要統一天下，卻抓住宋朝羈留使者之事，大做文章，讓全天下的人都知道宋朝無故拘留使者，不仁不義，然後他再擺出一幅正義之師的架式，大舉進攻，以期收到瓦解對方鬥誌、鼓舞己方士氣的作用。實際上，他的戰略目的確實達到了。“攻心為上”的策略，本來是漢人發明的專利，但忽必烈采用漢法以後，卻得心應手，完全可以使一些漢人為之汗顏。
在忽必烈的軍事思想中，集中兵力、解決主要矛盾的思想亦比較突出。他在即位之初，麵對進攻南宋和平定阿裏不哥之亂等諸種矛盾，毅然決定暫時停止攻宋，集中兵力對付阿裏不哥。
在平定阿裏不哥之亂期間，拉攏其他勢力，很快取得旭烈兀軍等人的支持，並把阿裏不哥身邊的玉龍答失等人拉到自己身邊，使阿裏不哥孤立無助。
這種集中兵力對付主要敵人的策略讓他受益匪淺。
在對宋戰爭的問題上也是這樣，他在滅亡南宋的條件不成熟的形勢下，提出了對宋迂回大包圍的戰略，親自率領軍隊越雪山，過草地，履幽穀，曆窮鄉，衝破各種艱難險阻，戰勝各種饑餓和困憊，最後滅掉了大理，包圍了宋朝。
成熟的時候，他又發動了滅宋戰爭，改變原來主攻鄂州的作戰方略，從襄樊突人，不計一城一地之得失，抓住主要矛盾，直攻南宋首都臨安，最後，又讓忽必烈大獲全勝。
在軍事統禦製度方麵，忽必烈鑒於諸王盡專兵民的弊害，加強中央集權，斷然罷去世侯、設置牧守，實行軍民分職。
在滅宋戰爭時，他就授予伯顏以方便之權，全權消滅宋朝。後來，重新整頓軍隊，確立了從中央到地方一套統一的軍事領導體製，選拔蒙古精銳，仍為怯薛軍，保衛皇帝，由自己指揮。
忽必烈又設立樞密院專理天下兵馬之事，挑選天下精銳聚於自身，成立侍衛親軍，歸樞密院直轄。樞密院還統管各行省兵馬，將軍權全部集中於中央。
之所以出現這種軍事製度，正是忽必烈認真學習的結果，是忽必烈采用漢法的一個表現。
在部隊兵種方麵，忽必烈在原來騎兵與步兵的基礎上，發展了炮手軍與水軍，不但中央的軍隊有炮手軍，各路也有炮手軍；不僅蒙古軍隊中有炮手軍，漢軍及各鎮戍軍隊中也有炮手軍，不但陸地作戰用炮，而且水上作戰也用炮。讓蒙元軍隊從單一的騎兵製發展成為多軍兵種的一股強大武裝力量。
在作戰方法與戰略戰術方麵，改變了原來單一的大包圍、大迂回、平原野戰與奇襲取勝的方式，一般水陸齊出，先拿大炮轟擊，掃清障礙，繼而以步騎衝殺，一舉獲勝。
經過忽必烈的軍事改革，隻要是重大戰役的，再也不是單靠鐵騎作戰，而是炮、騎、艦諸軍聯合行動，協同作戰。不管是野戰、長圍、奇襲，還是陣地戰、攻堅戰，忽必烈的軍隊都能適應，從而使蒙元的戰略戰術發生了重大變化，具有十分重要的意義。
後勤供應也是前線作戰能否取勝的重要因素之一。忽必烈之前，蒙古軍隊的後勤供應沒有章法，主要靠陣前擄掠。後來規定，“奧魯”隨軍，由奧魯負責軍隊的後勤供給，也主要是靠繳獲敵方的糧草武器等。
忽必烈總結了以前寓兵於農的曆史經驗，要求軍人邊耕且戰，“屯戍以息兵，務農以足食”，逐步建立起軍隊屯田製度。不管是中央的侍衛親軍，還是地方上的鎮戍軍，都要進行屯田，並相繼在河南、江西、江浙、四川、湖廣、雲南等行省境內設置屯田機構。
至元十三年（1876 年），忽必烈和北方諸王戰爭爆發，忽必烈除了抽調人力物力從事糧餉轉運外，又在戰區及其附近的陝西、嶺北、甘肅、遼陽以及征東行省等地駐地屯田，來供應保障。這種寓兵於農的軍事思想也是他認真學習的結果，是曆史上的一個進步。
軍事將領為執行落實正確戰略戰術的根本，倘若戰略戰術製訂得再好，沒有人去執行與落實，也是一句空話。所以，忽必烈特別重視對將領的籠絡與使用。
他不管是哪個民族，有才就任用。在他所任用的軍事將領中，既有色目人、蒙古人，也有漢人。
忽必烈對這些將領賞罰分明，凡是立有戰功者，都予以獎勵，除了賜給土地、物資等物質獎勵外，還常常賜號“拔都兒”等，進行精神獎勵。
忽必烈就使用這種辦法，使得大量軍事將領，基本上運用自如，甘心為其效命盡忠，別無二心。
海都是窩闊台嫡孫、合失之子。據說，小時候的海都是在成吉思汗的帳殿（斡耳朵）裏長大的。蒙哥漢即位時，海都沒有和他人反對蒙哥。在蒙哥汗對窩闊台子孫分割給授本兀魯思領地的時候，海都曾得到海押立一帶的份地。但他對窩闊台係失去汗位始終耿耿於懷，曾經長期拘留蒙哥汗派遣的使者石天麟，不予放還。
蒙哥汗死後，忽必烈與阿裏不哥兩兄弟因爭奪汗位同室操戈。海都看到了重整編旗鼓的機會，於是很快加入阿裏不哥陣營，支持阿裏不哥攫取汗位，與忽必烈抗衡。
開始，海都的勢力並不大，所糾集的部眾僅僅二、三千人。而當阿裏不哥麾兵擊敗察合台兀魯思君主阿魯忽和窩闊台兀魯思君主禾忽的時候，窩闊台兀魯思內部發生變化，海都趁機取代禾忽做了該兀魯思君主。
阿裏不哥兵敗南歸之後，海都依然不肯臣服，不聽從大汗忽必烈的號令。雖然忽必烈對海都非常不錯。即汗位之初，忽必烈也曾賞海都白銀八百三十三兩，文綺五十匹，與隻必帖木兒待遇一樣。至元二年（1265 年）閏五月，忽必烈又將汴梁路屬州蔡州分撥給海都為五戶絲食邑。還曾賜給海都若幹金銀牌符。