為了配合漢法的實施，更好地加強對中原地區的控製，忽必烈放棄了大蒙古國的都城漠北和林，在漠南和中原設立了兩個都城，公元1263年5月，升開平府為上都，建立宗廟宮室，到公元1272年，改名為大都（今北京），其地位逐漸超過了上都，被定為元朝的都城。至於和林，則變成了地方機構宣慰司的治所。
蒙古族在成吉思汗統一後，立即踏上了對外征服的道路，至忽必烈即位前，蒙古統治了歐亞廣大地區，但屬於草創之初，未暇為經久之規，政權的行政機構很不完善，但說明蒙古也已開始考慮和研究這方麵的問題了。太宗窩闊台時期就建立了中書省，後來被蒙哥廢掉。忽必烈即位初，即恢複了中書省。於公元1263年，又設置了樞密院和禦史台。這樣，中書省總管政務，樞密院掌管兵權，禦史台掌管監察。
中央領導機構中書省，以太子中書令作為首腦，設右、左丞相，平章事，右、左丞，參政知事。在中書省之下設有六部，即吏，戶，禮，兵，刑，工；樞密院的主管是樞密院使。起初設置樞密使一人（由太子兼任），副使二人，僉書樞密院事一人。公元1270年，在副使之上設置同知樞密院事一人，僉書之下設置院判一人。公元1291年，又置知院一人，增院判一人，並以中書平章商量院事；禦使台的主管是禦史大夫。其下設有中丞、侍禦史、治書侍禦史各二員。禦史台直屬機構有殿前司、察院，還有內八道肅政廉訪司，其主要職能是掌管百官糾察。
此處還有一些中央專門機構，大司農掌管農桑水利，翰林兼管史院掌管文書和修史，集賢院掌管學院和征集人才，宣政院掌管宗教和吐蕃事務，太史院掌管天文和立法，操作院掌管工藝，通政院掌管驛傳，宣徽院掌管諸王供應。此外還有大宗正府，設紮魯花赤，專管蒙古公事。至此，元朝中央政權機構較為完備了。
元世祖忽必烈的政治機構改革，突出的是把全國劃分為若幹行省，建立行省製。至元二十三年即公元1286年，忽必烈改變了過去把全國一些地區設立行中書省、以代表中書省在地方行使職權的辦法，在全國設立10個行省，作為地方的行政機構，最高長官為平章政事，十省分天下之治。行省管理路、府、州、縣的政務、錢糧、兵甲、屯種、漕運等，使中央與地方的政體統一起來。西藏未設行省，歸中央的宣政院管轄，但在管理製度上與行省相似。在澎湖設有巡檢司，管理澎湖、台灣事務，歸浙江行省泉州路同安縣管理。元王朝管轄的國土廣大，為解決通訊聯絡方麵的困難，在全國普遍設立驛站，分水、陸兩種。中央下行的文書和地方上報的文書，傳遞很快，特別是每10-20裏設急遞鋪，使急件送得更快。
在法律方麵，世祖忽必烈逐步廢除了蒙古舊法《大紮撤》和元初循用的過於嚴苛的《金律》，並剝奪了王公貴族和僧侶的司法權。之後下令招人立法，參考中國曆代法律製定了《至元新格》，於公元1292年頒行。
為了加強軍事上的控製力量，忽必烈時期，除發展原有的親軍以外，又相繼改右、左、中、前、後等五衛親軍，並且要求江南歸附官員三品以上的人，均遣一子到大都充當皇帝侍衛，表麵上是重用，實際上是作為人質。隨著國土的增辟，忽必烈將原南宋軍隊整編為新附軍，以表示有別於原有的蒙古軍、探馬赤軍及漢軍。按規定：近衛軍的主要任務是保衛大都、上都及附近地區，蒙古軍和探馬赤軍則駐在腹地和河南行省地區，漢軍多駐在長江以南，新附軍一般不駐長江以北。這一加強軍事集權的做法，維護了國家的統一。
元世祖忽必烈的重大改革，實質是密切了中央和地方的聯係，加強了中央集團的統治，鞏固了多民族統一的國家。這種改革比較徹底地糾正了由於蒙古貴族野蠻的統治而造成的社會經濟停滯和衰敗，限製了蒙古王公的專橫跋扈。改革是以繼承漢法的形式出現的，有利於上層建築，適合經濟基礎的發展，有利於社會的安定和進步。這一改革從政治上奠定了元王朝對中國近百年的統治。
削藩奪權，強化統治
蒙古統一之後，成吉思汗的弟弟、兒子及勳臣外戚各自取得了自己的分地。在領地內，宗王不僅世襲領有千戶部民和私屬，可以擅發令旨，署官命將，專殺臣民，還擁有成千上萬的投下軍隊。宗王們還有自立自管境內站赤，自置課稅官，征收領民賦稅等權力。直到忽必烈統治時期，領地諸王依然權勢熏灼，儼然成了割據一方的獨立王國。忽必烈本人正是憑借漢地藩國的軍事、經濟力量戰勝阿裏不哥而奪取汗位的，可以說他是宗藩做大的首要受益者。因而，忽必烈對這一問題的認識就更加深刻。