使國家而居朔漠，則無事論此也。今日之治，非此奚宜？夫陸行宜車，水行宜舟，反之則不能行，幽燕食寒，蜀漢食熱，反之則必有變。國家之當行漢法無疑也。”具體地講，就是要求忽必烈依北魏、遼、金的模式，借鑒前代的經驗，建立一套既符合蒙古的社會背景、經濟狀況和習俗法規，又吸收中原王朝兩千年來積累的統治經驗和封建統治製度，製定適合於漢地政治、經濟、文化背景的統治製度。這是忽必烈時期改定官製的原則和指導思想。
中統元年（1260），忽必烈即位開平後，“立中書省，以王文統為平章政事，張文謙為左丞”。中書省下吏、戶、禮合為一部，稱左三部；兵、刑、工合為一部，稱右三部。這顯然是參考金製和根據當時實際需要確定的。不久，燕京行中書省並入中書。此後定製，以皇太子行中書令，下設右、左丞相各一員，平章政事四員，右、左丞各一員，參知政事二員。蒙古人尚右，故以右丞相、右丞居上。自中書令至參知政事皆稱“宰執”。六部則各設尚書三員，侍郎二員。
管軍的機構樞密院是在平定李璮之亂後設置的。鑒於“諸侯盡專兵民之權的弊害，忽必烈采取斷然措施，罷世侯，置牧守，軍民分職”，中統三年（1262），詔：“諸路管民官理民事，管軍官掌兵戎，各有所司，不相統攝。”
四年（1263）五月，“初立樞密院，以皇子燕王為中書令，兼判樞密院事”，掌天下兵甲機密之務。除四怯薛由皇帝或其親信節製外，“凡宮禁宿衛，邊庭軍翼，征討戍守，簡閱差遣，舉功轉官，節製調度，元不由之”。初置樞密使一員（由太子兼任），副使二員，僉書樞密院事一員。至元七年（1270），在副使之上置同知樞密院事一員，僉書之下置院判一員。二十八年（1291），又置知院一員，增院判一員。並以中書平章商量院事。四怯薛各出代表一員，參與院議。
至元五年（1268），立禦史台，“掌糾察百官善惡、政治得失”。設禦史大夫、中丞、侍禦史、治書侍禦史各二員。禦史台直屬機構有殿前司、察院，還有內八道肅政廉訪司。“凡大朝會，百官班序”由殿前司掌握，“其失儀失列，則糾罰之”；“在京百官到任假告事故，出三日不報者，則糾舉之；大臣人內奏事，則隨以人，凡不可與聞之人，則則避之”。肅政廉訪司初名提刑按察司，承自金朝的按察司，作為地方監察機構，元初被納入禦史台係統。其巡察地區分為跨地區甚至跨行省的諸道。分別隸屬於中央禦史台或行禦史台。行台是中央禦史台的派出機構，元代曾在陝西、雲南、江浙等地設置。
元廷對宗室諸王賞賜無度，對外征伐頻數，國家用度浩繁，而以理財助國為施政中心，至元七年至九年、二十四年至二十八年、至大二年至三年（1270～1272、1287～1291、1309～1310）三次設立尚書省綜理財用，六部、行省皆隸尚書。在尚書省存在期間，中書形同虛設。
此外，也有大司農司、翰林國史院、集賢院、宣徽院等承自前代的機構。
在中書省、樞密院、禦史台分管政務、軍旅和監察之外，在元朝中央，還有與之平行的掌管蒙古、回回和藏地事務的機構。其中包括蒙古翰林院及其所屬蒙古國子監，掌管回回曆法的回回司天監，掌管也裏可溫（基督教和基督教徒）的崇福寺，掌管藏地事務的宣政院等。國初的劄魯忽赤，隨著國家統治機構的完備，則轉變為專掌皇族政刑的官員，而以大宗正府為其辦事機構。與曆代大宗正府不同的是“主要治理諸王、駙馬投下的蒙古、色目人刑名詞訟等事，時而兼治漢人刑名”。大汗後妃所居的斡耳朵官屬，則相當於遼朝的宮官。怯薛又是與五衛親軍製並行的大汗禁衛軍和直屬部隊。
地方行政機構是行中書省，簡稱行省。元人認為：“國製，中書總庶政，是為都省。幅員際天，機務日繁。相天下重地，立行省而分治焉。若稽古製，魏晉有行台，齊隋所管置外州稱行台尚書省，唐以諸道事繁，準齊分置，今行省，其遺製也。”其實，元朝的行中書省乃是承自金末的行尚書省。金朝後期，為抵禦蒙古的軍事需要，在河北、山東、陝西等地遍置行省，作為尚書省的派出機構，以宰執主持抗蒙事宜，以加重事權。它是一種臨時建置。成吉思汗南下時，對降蒙的金朝故官、將領，常以原官授之。同時，也采用了金朝行省的官稱。此後，凡有征伐之役、分任軍民之事，往往稱行省或行台，初無定製，迭為廢置。
中統元年（1260），世祖立十路宣撫司為地方最高行政機構。同時，也以中書省官行某處省事的官銜，派往地方行使中書省職權，設立了一些行省機構。大約在至元二十年左右，以宰執行某處省係銜嫌於外重，於是乃改為某處行中書省平章或右丞、左丞、參知政事，而不再以都省官係銜。行省遂從都省的派出機構逐漸演變為地方最高行政機構。因中央尚書省之設，行中書省又曾兩度改為行尚書省。
至元二十七年（1290），元廷在全國範圍調整行省建製，除中書省直轄的山東、山西、河北等地（腹裏）外，在全國設立嶺北、遼陽、河南、陝西、四川、甘肅、雲南、江浙、江西、湖廣等十個行省。行省“掌國庶務，統郡縣，鎮邊鄙，與都省為表裏”。行省設丞相一員，平章二員，右、左丞各一員，參知政事二員，於地方“錢糧、兵甲、屯種、漕運、軍國重事，無不領之”。行省下分設路、府、州、縣。