辦事緊張而有規律，非常有條理，皇帝應用起來得心應手，更便於運籌帷幄、收效於千裏之外了。
忽必烈在改革中央機構之際，對地方機構也作了改革與整頓，創立了行省製度。
成吉思汗建立大蒙古國時，實施領戶分封製，把草原牧民按十進位分別編製為十戶、百戶、千戶和萬戶，分封給自己的子弟、貴戚與功臣等。
蒙古人主中原以後，“隨事創立，未有定製”，地方製度異常不穩定。
蒙古沿襲成吉思汗以來的祖宗之法，在蒙古貴族中繼續實行分封製，同時學習金朝的經驗，在占領區隨地、隨時、隨事臨時設置行省，來實施管理。
行省製度可以追及到魏晉時期的行台。
北朝、隋與唐初都曾置行台尚書省（簡稱行台）在外州行使尚書省的職權。
金朝沿襲這一製度，為處理地方上的一些重大軍政事務，派遣尚書省宰臣出外便宜行事，行使尚書省職權，稱為“行尚書省事”，又作為“行省”，金末重點是為抵禦蒙古和鎮壓農民起義而設。
金朝行省是中央尚書省之派出機構，代表中央尚書省臨時管理某些軍政事務，事畢撤消，不是固定的地方行政機構。
蒙古進入中原之後，曾揉合蒙古分封製，依照金朝的行省名稱，對一些投降的金朝官吏或地方軍閥，授予“行省”官號，但都不帶宰。相職銜，又不是為解決某事而設，帶有一定分封性質，因此，與金朝的行省根本不同。最終，這一類行省名號逐漸被取消。
窩闊台在授予降將“行省”官職的之時，又把被征服地區劃分為三個較大行政區，分別任命劄魯忽赤進行管理。
到蒙哥時期，這三個大行政區，在漢文史料裏被叫作“行尚書省”，也就是
“燕京等處行尚書省”，治所設在燕京（今北京），一統中原漢地；“別失八裏等處行尚書省”，治所設在別失八裏（今新疆吉木薩爾），統治阿爾泰山以西原西遼、阿姆河以東、花剌子模故土；“阿姆河等處行尚書省”，治所設立於徒思（今伊朗馬什哈德一帶），統治阿姆河以西波斯地區。此種行省具有金末行省的某些性質，也有些差別，開始向地方行政區劃過渡。
不過，這一類行省的名稱都是漢人的附會之詞，因為那時大蒙古國的中央政府還未有尚書省的建置，官員也沒有行省事。仍稱劄魯忽赤等。
忽必烈便是在這種既保存有蒙古分封製，又有臨時安頓金宋降人所設的行省和附會金末行省的亂世中做上英雄的。
忽必烈為了穩定地方秩序，更好的管理，先在地方上設置十路宣撫司做最高行政機構，以李德輝、賽典赤為燕京路宣撫使，徐世隆為副；宋子貞為益都濟南等路宣撫使，王磐為副；楊果為北京等路宣撫使，趙炳為副；張德輝為平陽太原路宣撫使，謝嬗為副；孛魯海牙、劉肅並為真定路宣撫使；姚樞為東平路宣撫使，張肅為副；張文謙為大名彰德等路宣撫使，遊顯為副；粘合南合為西京路宣撫使，崔巨濟為副；廉希憲為京兆等路宣撫使。
忽必烈在設置十路宣撫司之際，又依照金末行省製度，常常以中書省宰執掛上“行某處中書省事”的頭銜，出外行使中書省的職權，主持地方的經濟、政治與軍事等方麵的事務，因事而設，事情做完則撤，沒有固定的治所與轄區。
後來，這類行省日趨增多和穩定，已與前代所設的臨時性的中央派出機構大不相同，實際上已成為常設的地方機構。
鑒於這種情況，忽必烈幹脆將各地所設行中書省作為地方上最高行政機構固定下來。
因行中書省成了地方的行政機構，行省官員如果再以中書省宰執行中書省係銜，就與中書省的權限沒有區別了，況且權力太大，所以，忽必烈重新更定官製，撤消中書省宰執行中書省之職，隻設某處行中書省丞相、平章政事、左丞、右丞、參和政事等。
後來，又嫌行中書省丞相職權太重，撤了他的職位，用平章政事為行中書省最高長官。
忽必烈整頓地方機構，正式確立了行省製度。其時，將大都周圍的河北、山
東、山西等地稱為“腹裏”，由中央的中書省直接管理。
此外，忽必烈在全國共設立十個行省，也就是：陝西行省，轄境包括今陝西省以及甘肅省、內蒙古自治區的部分地區；遼陽行省，轄境包括今遼寧、吉林、黑龍江三省，及內蒙古部分地區和黑龍江以北、烏蘇裏江以東（今屬俄羅斯）地區；甘肅行省，轄境包括今寧夏回族自治區、甘肅省大部分和內蒙古自治區的一部分地區；河南江北行省，轄境包括今河南省，以及湖北、江蘇、安徽三省的長江以北地區；四川行省轄境包括今四川大部分地區，和陝西、湖南兩省部分地區；雲南行省，轄境包括今雲南省全境、四川省和廣西壯族自治區的部分地區，和泰國、緬甸兩國北部的一些地方；湖廣行省，轄境包括今湖南省、貴州省、廣西壯族自治區的大部分地區，以及湖北、廣東兩省部分地區；江浙行省，轄境包括今浙江、福建兩省全境，安徽、江蘇兩省南部，以及江西省部分地區，還管轄澎湖和台灣；江西行省，轄境包括今江西、廣東兩省的大部分地區；征東行省是為了征伐日本而設，曾經兩次撤銷，又兩度建立。
征東行省設於高麗，行省丞相由高麗國國王兼任。征東行省的權限分兩部分，一是依附於元王朝的“藩屬”高麗國，也同樣為國王管理，下屬政權機構與體製不變，財賦亦不用上交中書省。
二是直接在元中央統治下的二府一司，也就是遷置於遼陽行省境；內沈州的管理高麗僑民的“高麗軍民總管府”，設於黃海之耽羅島上的“耽羅軍民總管府”
與設於黑龍江口奴兒幹地區的“征東招討司”，這二府一司都由元中央任命的“參知政事”管理。
在忽必烈所設置的十個行省之中，隻有征東行省的性質同內地行省的性質有一些區別。
忽必烈在十個行省之外，又在漠北設立了和林轉運司，後改為和林宣慰司都元帥府，作為中央中書省的派出機構，管理政府所屬軍民和城郭、工局、倉廩、屯田、驛站等事務。後來，元武宗在此基礎上建立嶺北行省。
忽必烈還在畏兀兒地區設立和州別失、八裏等處宣慰司都元帥府。在中央設置宣政院直接管轄吐蕃地區。盡管沒有在這兩處設立行省，但屬於兩個特殊行政區，事實上也相當於行省一級的建製。
行省有很大的權利，掌管整個地方政治、經濟、軍事和思想文化等，直接對
中央及中書省負責。
忽必烈確立行省製度，可以說是中國地方行政製度的重大改革，發展了秦漢以來的地方郡縣製度，對防止分裂很有作用，在中國地方行政區劃和政治製度史上占有極其重要的地位。
忽必烈所建立的行省製度，被後世所沿襲，明代雖然改行省為承宣布政使司，但習慣上仍叫作行省，簡稱為省。省作為地方最高一級行政機構的名稱，一直沿用到如今。
行省之下，忽必烈揉合唐宋與遼金製度，設置路、州、府、縣等機構。路統於行省，設總管、同知等官員；府一級不普遍設置，統屬也各不相同，有的統於路，與州平級，有的統於行省，為直隸府，與路同級，個別者則直屬於中央的中書省，府設知府或府尹、同知等官員；州也有兩類，一種直屬於行省，叫作直隸州，同路、直隸府平級，一種則隸屬於路和直隸府，皆設州尹（或知州）、同知等官；縣一級按戶數多少分為上中下三等，設立縣尹、縣丞、縣尉等官。
事實上，忽必烈所確立的地方機構是省、路（直隸府、直隸州）、州（府）、縣四級行政製度，個別者為明代所沿襲，並在此基礎上形成了比較成熟的省、府（州）、縣三級製度。
忽必烈擔心地方上的路、州、府、縣不聽安排，又在這些機構中普設達魯花赤一職。達魯花赤是蒙古語“鎮守者”的音譯，在漢文史籍中也叫作“宣差”或“監臨官”。
剛開始，蒙古征服各地以後，無法獨立行使權利，通常都要委付當地上層人物治理，同時派出達魯花赤監臨，地位高於當地官員，掌握最後的裁決權力，來保證蒙古大汗的統治。
忽必烈統一全國以後，也在路、州、府、縣等機構中設達魯花赤，由蒙古人充當。
達魯花赤在地方各級機構中地位最高，但一般沒有實權，成為高居於各級地方官之上的特殊官員，具有皇帝特派員的性質。忽必烈是想利用本民族的優越地位，布置眼線，便於了解情況，以達到控製地方的目的。
但忽必烈所派遣的這些蒙古人充任達魯花赤，通常文化素質都不高，就難以對地方政治、文化、經濟發展起到促進作用。
忽必烈又在路、府、州、縣之下分設鄉、都等基層組織，統稱為裏；城鎮中的隅、坊組織，統稱為坊。裏、坊設有裏正、主首、隅正、坊正等辦事人員，負責催辦稅糧、督促徭役、維護地方治安等。
另外，忽必烈還推行村社製。起初，北方人民為了克服人力不足的困難，曾自發地組成了一種“鋤社”，於農忙之際“先鋤一家之田。本家供其飲食，其餘次之，旬日之間，各家田皆鋤治”。“間有病患之家，共力助之。”農民創造的這種互相幫助的組織形式，發揮了集體力量，取得了“歲皆豐熟，苗無荒穢”的好收成。
忽必烈聞此，覺得這一組織形式不錯，於是推廣利用。
至元七年（1270 年）頒布農村建立村社法令，規定以自然村為單位，原則上每五十家立為一社，社有社長，由社眾推舉年事已高、通曉農事、家有兼丁的人擔任，免去本人差役，專門管理“教勸本社之人務勤農業”。
每社還設立社學、義倉等，社眾之間要在生產上互相幫助。後來，村社製與裏坊製慢慢統一，社長除勸農外，還一般負責統計戶口、征調賦役、維持治安、處理訴訟等，成為裏正的下屬。
忽必烈采用漢法，層層設職，逐級上傳下達，最終達到統一，保證了地方井然有序，被大家所稱讚。
忽必烈在采用漢法、照搬中原王朝專製主義中央集權製度的同時，亦保留了一部分分封采邑製。
成吉思汗建國之後，在漠北大行分封，諸王貴族都得到了的分地。窩闊台時，蒙古統治範圍擴展到中原，貴族、諸王、將領通常將他們俘虜的人戶就地安置，派人管理，成為自己的私屬，不隸屬州縣。又曾授予金宋降人為“行省”，同樣帶有分封性質。蒙哥時期，也曾在中原地區實行這一製度。
忽必烈即位之後，這種製度還沒有完全取消，他在滅宋以後，又把一些江南州郡分賜給諸王貴族當做食邑等。
但他已經認識到分封的不利，曾取消漢人世侯等部分分封，又對封地貴族的特權與不法征斂行為進行一些限製等，基本上將封地變成了貴族的采邑，這樣一來對中央的危脅幹擾不大了。
忽必烈保留部分分封采邑製，在整個國家體製中地位不是很重要，這同後來
明朝保留的分封製相比，也不為過。因此，忽必烈所確立的中央和地方製度，還是中原王朝長期以來實行的中央集權製度，忽必烈采用漢法占據主要地位。
忽必烈在漢族儒士的幫助下，在實踐中，充分認識到“用人”的重要性，因此，特別重視官吏的選拔與考核。
至元元年（1264 年），忽必烈罷諸侯世守，裁並路、府、縣、州官吏，推行遷轉法，把官吏任免權皆收歸中央，這一改革是他的另一創舉，是他加強中央集權的一項重要措施。
到元十四年（1277 年），中書省頒布《循行選法體例》，對內外官員銓注、遷轉與升遷等各方麵作了具體的規定。從此，忽必烈時期的選舉與考核製度基本確立。
忽必烈規定，禦史台、樞密院、宣政院三大機構委任下屬官吏，可以自行選拔聞奏。其他機構，百官的任免皆要經過中書省審察。
職官升遷，從七品以下歸吏部主管，正七品以上由中書省主持，三品以上由皇帝決定。
六品到九品的官職，由中書省頒發委任證書，稱為“敕授”；一品到五品官員，由皇帝下製書任命，稱為“宣授”。
忽必烈統治時期，尚未實行科舉製度。
到元四年（1267 年）九月，翰林學士承旨王鶚等“請行選舉法”，建議“科舉取士，最為切務”，提議實行科舉選士製度。
忽必烈見到王鶚的奏章，聽了王鶚的彙報，認為唐宋遼金以來的科舉製度是不錯的選官“良法”，下令“其行之”。
中書左三部與翰林學士遂議立程式奏上，結果沒有施行。至元十年（1273年），忽必烈在大臣的建議下，又準備施行科舉製。
到元十一年，省臣上奏，稱“去年奉旨行科舉，今將翰林老臣等所議程式以聞”，詔令“準蒙古進士科及漢人進士科，參酌時宜，以立製度”。
至兀二十一年（1284 年），丞相火魯火孫與留夢炎等代表中書省臣，又請行科舉，忽必烈才認可。隨後，
“許衡亦議學校科舉之法，重經學，罷詩賦，定為新製”。後來不知何故，又沒有實施。“事雖未及行，而選舉之製已立”。忽必烈在漢族儒士的建議下，始
終表示同意采用漢法，實行科舉選官製度，後來因為種種原因，未及施行，但施行科舉的準備工作已經做好，為後來實行科舉製度奠定了基礎。忽必烈未實行科舉製度，主要通過薦舉、特召、吏進和承蔭幾種途徑選用官吏。
薦舉就是各級官員根據“才能”和“根腳”舉薦人才出仕做官。“元朝之法，取士用人，惟論根腳”。當時薦舉，主要根據“根腳”。所謂“根腳”，就是社會出身。中書省等高級官員及地方上路、府、州、縣的長官，皆由皇帝任命勳臣、名門以及儒吏出身、品資相當的人員充任。其中，主要是怯薛出身的“大根腳”。
怯薛本來是蒙古大汗的護衛軍，既照料大汗的家務又處理國家政事。忽必烈稱汗以後，設立中書省分割了怯薛的行政權。使怯薛僅僅成了護衛宮城和照料大汗家務的組織。
但由於怯薛“晝出治事，夜入宿衛”，經常在皇帝身邊。就可以通過怯薛長推薦，皇帝直接加以拔擢，而升任高官。
特召是皇帝下令召用的特殊人才。忽必烈在藩邸時就通過一些人推薦下詔書征用了許多才能之士，即位以後，更是思賢若渴，聽說誰有才能，必定想方設法羅致。
全元十八年（1281 年），又下詔“求前代聖賢之後，儒醫卜筮，通曉天文曆數，並山林隱逸之士。”
二十四年（1287 年），又命程钜夫務必搜訪遺逸，“求賢於江南”。忽必烈聽說趙孟強、葉李為當世人材，特別囑咐程钜夫務必將此二人召來。
程钜夫不負忽必烈之望，不但將二人召至京師，又薦舉了趙孟頫、餘恁、萬一鶚、張伯淳、胡夢魁、曾唏顏、孔洙、曾衝子、淩時中、包鑄等二十餘人，“帝皆擢置台憲及文學之職等。”
吏進為忽必烈選官的主要方法。元代吏員名目繁雜，主要有負責處理公文案牘的令史、書吏、司吏、必閣赤，負責翻譯的通事、譯史，負責傳達命令、彙報工作的宣使、奏差，負責掌管印信的知印，負責發送保管文書的典吏等。忽必烈時期，主要從這些吏員中補任官職。
承蔭主要是蒙古顯貴及各族高官的子弟通過世襲和蔭補任職。忽必烈對承蔭入仕製度進行了嚴格限製，盡管沒有根除，但人仕比例很小，在社會上影響甚微。
忽必烈主要通過吏員出職選拔官員，為了保證官員的行政效率，製訂了一係
列吏員出職和監察製度、官吏考核。
忽必烈規定，每年各級官員都要向上級推薦吏員，叫作歲貢。一般而言，由“本路長官參佐，同儒學教授考試，”用“習行移算術，語言辯利，字畫謹嚴，《峙紐》、《倘杓》、《艙渤》、《孟子》內通一經者”為中選，補充為吏。
忽必烈未行科舉，儒士想通過科舉做官之途徑已消失，隻好通過補吏入官。
被補為吏員以後，每年都要進行考核，“以性行純謹、儒吏兼通者為上，才識明敏、吏事熟閑者次之，月日雖多、才能無取者為下”，隻有考核為上與次上者才能被貢舉到上一級為吏，考核為下者，“不許呈貢”。
自縣吏經州、府做到路吏，再被選入廉訪司，再通過禦史台或行台書吏升為省部史，遂出職為六品或正七品官。
也有從儒士直接推薦進入廉訪司為吏而逐漸遷升者。儒學教官也能不通過補吏做官，但官品都不高。
忽必烈對各級官員的考核非常嚴格，規定，隨朝諸衙門及行省軍官，憑三十個月為一考，一考長一等。外任地方官以三年為一考，一考進一階，或二考升一等、三考升二等。
考核標準分為五項，即“田野辟”、“戶口增”、“盜賊息”、“詞訟簡”、“賦役均”。規定，“五事備者為上選，升一等。四方麵備者，減一資。三事有成者為中選，按規律辦。四事不備者，添一資。五事俱不舉者，黜降一等”。
任何官員，滿一考後評價政績，要由原所在機構提供一份類似鑒定的“解由”。
解由一般有專門的體式規範，內容包括官員的祖宗三代、民族姓氏、年齡籍貫、出身根腳、請俸時間、入仕資曆、身體狀況、治政成效、有無過犯、何人保舉等。
忽必烈在中統三年（1262 年），就下詔“置簿立式”，記錄官員政績，後發展成為“行止簿”。
至元十九年（1282 年）又規定，“諸職官解由到省部，以憑黜陟、考其功守”。
行止簿和解由成為官吏升轉根本前提。
忽必烈在對官吏進行正常管理、考核和升轉之際，又加強了對官吏的監察力度，在中央設立禦史台（簡稱中台），掌糾察百官善惡與政治得失，並直接監臨山東、河南、河北等省事，又在地方上分設監臨東南諸省的江南諸道行禦史台（簡
稱南台），與監臨西南西北諸省的雲南諸路行禦史台（簡稱西台）。
中台與兩個行禦史台之下各設一些道提刑按察司，後改叫肅政廉訪司，為監察道，定期檢查各種案卷帳目，監督糾劾各級官吏，複按已審案件。配合各級組織機構考核官吏，提出升轉和罷黜等方麵的建議。
禦史台、行禦史台與諸道肅政廉訪司上下銜接，構織成全國範圍的垂直監察係統，不為各級行政機構所幹擾，效果非常顯著。
忽必烈確立的這一套考核和升遷官吏選轉製度，基本上是中原王朝的漢法係統。唯論根腳及承蔭的選官製度，雖然不是很先進，但也屬於中原王朝門閥製度之餘緒，就是明清等朝也沒有徹底清除。
比較係統的吏員出職製度當屬於忽必烈發展漢法的一個創舉。
忽必烈盡管沒有實行科舉製，但每年補吏都要經過考核或考試，並有“性行純謹，儒吏兼通”的要求，這就讓那些想通過補吏為官的人們務必努力學習儒家文化，對於思想文化的發展也是有些好處的，應該說這屬於科舉考試的另外一種形式。
特別是吏員經常接觸官員並為其服務，在等待中學習積累經驗，從這些有實踐經驗的吏員當中選拔官員，很多方麵比那些通過科舉、隻會空談的官員具有某些優越性，可以看出，吏員出職和科舉選官各有利弊，不能等同視之。
吏員出職要經過多層篩選提拔，升遷極慢，甚至有些人尚未做到下級州縣官，就到了致仕年令。但確是人才則可不次升遷。
有時，忽必烈親自破格用人好像木華黎後裔安童，剛到二十歲就充任中書右丞相。正由於忽必烈注意從有經驗的吏員中選拔官員，又能夠破格用人，保證了上層建築的人才雲集，才不會有缺乏人才的局麵。
略通元史的人就明白，元代人有四等，但有關這一製度的明文規定至今尚未發現，四等人製始於何時，還有待於研究發現。
在金代就已經把人分成等級製。女真人初進中原，除了重視本民族及與本族屬於一個族係的渤海人以外，又把遼地人看作漢人，把原北宋河南、山東地區人民稱為南人。
其後，又叫南宋人為南人，叫金統治下的漢人為北人等，在任用掌管兵權與錢穀的官吏時，“先用女真，次渤海，次契丹，次漢人”。
蒙古進入中原之後，曾按照先降服地區統治者的地位高於後降服者的習慣，把境內各族人分稱為蒙古人、色目人、漢人與南人四種，大約成宗大德之後，這種四等人製以及蒙古、色目、南人、漢人的名稱才廣為使用。
事實上，元代四等人製是人們根據征服先後相沿成習、隨意稱呼的一種不成文規定而已。這一製度雖然不是忽必烈時期最後形成，但是為至關重要的一個時期。
關於四等人的劃分，忽必烈時期基本定型。第一等人為蒙古人，是元朝的“國族”，擁有各種經濟、政治與法律上的特權，地位最高；第二等人是色目人，包括西北各族、西域和歐洲“各色名目”之人，因為他們歸附蒙古較早，先獲地位，待遇僅次於蒙古人；第三等是漢人，就是淮河以北原來金朝統治下的各族人，包括漢族與契丹、女真、渤海、高麗以及較早為蒙古征服的四川、雲南兩省之人等，待遇次於色目人；第四等是南人，又叫作蠻子，新附、囊加歹人，指最後為元朝征服的原南宋統治下的漢族和其他各族人，處於最下等的地位。
忽必烈時期，四等人的待遇也有差異。
在官製方麵，蒙古貴族據有特權統治地位，所謂“國家官製，率以國人居班簿首”。忽必烈規定，中央與地方官的正職都要由蒙古人擔任，隻有個別漢人在短期內任過職。地方上路、州、府、縣設置的首席長官達魯花赤，也要由蒙古人擔任，若選不到合適的蒙古人，便在有根腳的色目人內選用，隻有南方邊遠地區遇到蒙古人害怕瘴癘不肯赴任的情況下，才用漢人充任。
忽必烈特別規定，回回人可擔任同知，漢人隻能充任總管。總管與同知都要聽命於達魯花赤。
在軍事方麵，忽必烈對南人、漢人嚴加防範與控製。把主要軍權都掌握在蒙古族軍帥手中，各種軍隊的數量與駐防情況，從不讓漢人知道底細。
後來還規定，皇帝去上都時，留守大都的樞密院官員，不得使用漢人。
中統三年（1262 年），李璮之變發生以後，忽必烈多次嚴禁民間私藏兵器。
平宋以後，又在江南實施，甚至連漢軍平時也不許執持軍器了。
至元二十一年（1284 年），又禁止漢人獵戶執持弓箭，並禁止廟宇裏供列真刀真槍。
次年，又下令征收江南、漢地的弓箭與其它武器，並分為三等，下等的毀掉，
中等的賜給近居的蒙古人，把上等的收放起來。後來，連南人、漢人畜養鷹犬打獵也不允許。