不少開明之士曾向忽必烈獻策，講明重建統治基地的重要意義。如謀士郝經便多次提出，在燕京建都。忽必烈亦深知，幽燕之地，地勢雄偉、險要。往南可控製江淮，往北可連接朔漠，以此為通邑大都真乃最佳的選擇。然而，剛剛稱汗稱帝而又老謀深算的忽必烈卻對遷都之事表現出不置可否——蒙古族的權貴們反對把統治中心向南遷移，他們舍不得離開他們的老窩。忽必烈還得靠他們的支持，不能不照顧到他們的情緒，否則樹敵過多，對他日後的統治極為不利。
然而隨著忽必烈的威信在蒙古貴族中的扶搖直上，也因為統治區域的日漸擴大，尤其是漢族地區的農業經濟逐漸成為蒙古國的主要經濟成分，遷都問題便提到日程上來了。這時的忽必烈似乎不要為遷都問題而趑趄不前了，他發布詔書，把興建都城的重任委托給素所信任的劉秉忠。
大都的營建，從公元1267年開始，直至公元1276年，曆時10年。元代大都城規模宏偉，在當時世界上首屈一指，是名副其實的“大的開始”：大都城周長約28．6公裏，共有11座城門，南東西各3門，北2門。南北並不對稱，據說是象征神話中哪吒的三頭六臂二足。意大利旅行家馬可？波羅，在元朝當官10餘年，在他的名著《馬可？波羅遊記》中稱讚大都的建築說：“美善之極，未可言宣。”
在大城完工前，忽必烈即正式賜名為大都，並迫不及待地遷都於此。元朝統治中心，從此就以政治、經濟、文化發達的漢地為統治基地，在中國曆史上，北京亦第一次正式作為全國性的大都城赫然出現在世界上。忽必烈建立元王朝，以一個新朝雄主的姿態登上了曆史舞台。但當時長江以南仍有宋朝相對峙，事實上他隻有半壁河山。到至元十六年（公元1279年），他才滅亡南宋，實現了中國曆史上又一次大統一。
遷都大都這一舉動一方麵避開了叛亂諸王的威脅，立足於人力、物力俱豐的中原地區，以駕馭幅員遼闊的大蒙古國；另一方麵，顯露了忽必烈在取得蒙古大汗地位之後，誌在滅掉南宋、一統天下的雄心壯誌。
在即位的最初幾年裏，忽必烈致力於鞏固汗位，建立元朝的集權體製，對南宋隻求維持現狀。中統元年（公元1260年）四月，他派郝經為國信使到南宋宣告自己即位的消息，並商談履行與賈似道達成的協議。但是，賈似道害怕郝經抵達朝廷會敗露其屈辱投降的議和條約，便把郝經拘留在真州（今江蘇儀征）。宋理宗風聞來了使者，表示“北朝有使臣來，應當議論一下媾和的事。”賈似道反而說：“議和是對方的計謀，哪能輕易聽從！”此事遂不了了之。忽必烈得不到回音，便派使者尋找郝經，但沒有什麼結果，至元四年（公元1267年），忽必烈在鞏固了自己的地位並作了長期備戰之後，便以宋廷拘囚郝經為借口，舉兵南下伐宋。
至元四年（公元1267年）十一月，南宋降將劉整向忽必烈獻策說：“攻宋方略，應當是先圖襄陽。如能得手，便可由漢水入長江，一舉掃平南宋。”忽必烈采納了他的建議。從至元五年（公元1268年）起，忽必烈派阿術、劉整等進攻襄陽。
當時，南宋主要依靠長江天險與蒙古對峙。沿江的戰略據點主要是上遊的重慶、中遊的鄂州和下遊的建康（今南京）、揚州。襄陽位於鄂州西北，成為中遊的前沿要害，蒙哥伐宋曾以攻略上遊（蜀）為主。因為當時主攻中遊，可能遭到上遊宋軍的聲援側擊。但當時南宋在上遊的兵力已削弱，而且備受掣肘。再主攻上遊，乃是舍近求遠；而先主攻下遊，則受中遊威脅。因此，忽必烈的選擇無疑是明智的。
襄陽位於漢水南岸的一個河灣裏，且三麵臨水，南宋派呂文煥率重兵駐守在這裏，而在漢水北岸，與襄陽隔水相望，又有樊城，也駐有南宋的重兵。阿術發現水戰不如南宋，便造船5000艘，訓練了7萬水軍，不斷發起攻勢。公元1273年，元軍用回回炮轟擊樊城，樊城失陷。呂文煥向宋廷告急。這時候，賈似道卻沉湎於聲色之中。他表麵上屢屢上書請求督察前線，暗中卻讓他人上章挽留。朝中遂派高達出援，高達與呂文煥本有積怨，呂文煥風聞高達要來，立刻假奏大捷，使朝廷停止增援。這時，回回炮已經擊中襄陽城的譙樓。呂文煥招架不住，束手就擒。曆時五年的襄樊攻防戰就這樣以南宋失敗而告終。