建安十三年(208)正月，曹公回到鄴城，開鑿玄武池訓練水軍。這時，朝廷廢除了三公，設置丞相、禦史大夫。六月，曹公被任命為丞相。七月間，曹公南征劉表。八月，劉表病死，他的兒子劉琮接替其職位，駐守襄陽，劉備駐守樊城。九月，曹公率兵抵達新野縣，於是劉琮投降，劉備逃往夏口。曹公進兵江陵，命荊州一帶的官吏和百姓同他們一樣實行新法規。還評定荊州降官的功勞，封侯的有十五人，任命原劉表手下的大將文聘為江夏太守，讓他領管自己的兵馬，並舉薦任用荊州名士韓嵩、鄧義等人。益州牧劉璋開始接受征兵和納稅，遣送士兵補充軍隊。十二月，孫權幫助劉備進攻合肥，曹公從江陵發兵征討劉備，到達巴丘山，派張睯去援救合肥。孫權得知張睯到來，才撤兵離開。曹公抵達赤壁，與劉備交戰，戰鬥失利，這時發生了大瘟疫，官兵死了很多，曹公便帶兵北回。於是劉備占領了荊州所轄的江南各郡縣。
建安十四年(209)三月，曹公進軍到了譙縣，製造快船，一操一習水軍。七月間，曹軍從渦水進入淮河 紅潮網，經過淝水，在合肥住下。八月二十四日，曹公下令說：“最近幾年來，軍隊多次遠征，官兵都有死亡，有時還遇到瘟疫，不能再回家鄉，夫妻難以一團一聚，百姓流離失所，這難道是仁一愛一之人願意看到的麼？是不得已才這樣做。特此命令：凡是死的士兵家中沒有產業，難以維持生活的，政一府不得停止供一應食糧，官吏必須慰問救濟他們，這才合我意。”這年又在揚州設置郡縣長官，開墾芍陂屯田。十二月，回返。建安十五年(210)春天，又頒布命令：“自古以來，凡是開國和中興的君主，無不靠賢人君子幫助共治天下！君主得到賢才，足不出巷，這難道是僥幸碰上的嗎？是高高在上的執政者不去尋訪罷了。如今天下還未平定，這是正需要賢才的時候。孔子說：‘孟公綽作趙、魏兩家的家臣之長，是多多有餘的，卻不能作滕、薛二小一柄一的大夫。’假如一定要廉潔之士才能任用，那齊桓公怎能稱霸天下呢？難道現在天下就真沒有像呂尚那樣富有才華卻穿著破衣服在渭水邊垂釣的人嗎？又有沒有像陳平那樣被誣與嫂子私通，接受賄賂卻還沒有遇到識才的人嗎？各位一定要幫我明察舉薦出身低微的有才之士，隻要有才就舉薦，使我能夠重用他們。”這年冬天，建銅雀台。
建安十六年(211)正月，漢獻帝任命曹公的世子曹丕作五官中郎將，並安置所屬官員，讓他做副丞相。太原商曜等人據守大陵縣反叛，曹公派夏侯淵、徐晃帶兵包圍大陵，打敗了商曜。張魯占據漢中郡。三月，曹公派鍾繇前去征討，又命令夏侯淵等人從河東郡出兵，與鍾繇會合。這時，占據關中的各將都懷疑鍾繇要襲擊自己，於是，馬超與韓遂、楊秋、李堪、成宜等人起兵反叛。曹公派曹仁去征討。馬超等人駐守潼關；曹公告誡眾將說：“關西兵勇敢強悍，你們堅守營寨，不得與他們交戰。”七月間，曹公西征，與馬超的軍隊隔著潼關對峙。曹公拖住馬超的部隊，暗中派徐晃、朱靈等將乘天黑渡過蒲阪津，占領黃河以西，安營紮寨。曹公在潼關北麵強渡黃河，渡了一半，馬超趕來，猛攻曹軍船隻。校尉丁斐見情況危急，放出大批牛馬引一誘賊兵，賊兵爭搶牛馬，隊形大亂，曹公才得以渡過黃河，沿河邊向南修築通道。賊兵敗退，占據渭口抵抗，曹公便多設疑兵，暗中用船將部隊送入渭水，架設浮橋，乘夜分兵在渭水南岸紮營。賊軍於夜間偷襲曹營，曹公派伏兵將他們擊敗。馬超等人駐守渭南，派人送信，以割讓黃河以西為條件求和，曹公不應。九月，大軍渡過渭水，馬超等人多次挑戰，曹公並不應戰；再三請求割地，並讓自己的兒子做人質求和，曹公聽從賈詡之計，假意先應下來。韓遂請求與曹公會麵。曹公與韓遂的父親同一年被舉為孝廉，又與韓遂是平輩，因此兩人馬靠馬在陣前談了很長時間，不談軍事，隻敘朋友舊事，說到高興處，二人拍手大笑。會見結束後，馬超問韓遂：“曹公說了些什麼？”韓遂回答：“沒說什麼。”於是馬超等人對他產生了猜疑。過了幾天，曹公又給韓遂寫了封信，上麵故意塗改許多地方，好像是韓遂改的。馬超等人更加懷疑。於是曹公與他們約定日期會戰，先用輕裝部隊挑一逗敵軍，打了很長時間後，派出一精一銳騎兵夾攻，大敗他們，成宜、李堪等都被斬首。韓遂、馬超等人逃到涼州，楊秋到安定郡，關中平定了。眾將有的問曹公：“開始時，賊兵守衛潼關，渭水以北沒有防守之兵，我們不從河東出去攻打馮翊，反而在潼關與敵兵對峙，拖延許久才北渡黃河，這是為何？”曹公回答：“賊兵占據潼關，如果我軍進入河東，賊兵必將帶兵守住黃河各渡口，我們就不能渡到河西；我故意重兵一逼一進潼關，賊兵全力來守南邊，西河的防備空虛，因此徐晃、朱靈二將才能輕易占領西河。在此之後我帶大軍北渡黃河，賊兵不敢與我們爭奪西河，是因為有他們二將的軍隊。連結戰車，樹起柵欄，做通道向南前進，既是創造了敵軍不能取勝的條件，同時又向敵人示弱，麻痹他們。渡過渭水後深溝固壘，敵軍挑戰不應，是為了使敵軍驕傲自大；所以賊軍不造營壘，隻求割地講和。我順著他們的意思答應下來，之所以依著他們的意圖，是為了使他們自以為平安無事而毫無防備。我軍此時蓄一精一養銳，一旦出擊，就有迅雷不及掩耳之勢。用兵之道，本來不能墨守成規，隻求一種方法。”當初，賊兵每到一支部隊，曹公就麵露喜色。賊兵被打敗以後，眾將問他高興的原因。曹公回答：“關中地域遼闊，如果賊兵各自依險阻抵抗，征伐他們，沒有一二年的時間不能平定。如今都聚集於此，雖然人數眾多，但都彼此不和，沒有統一的主帥。這樣，消滅敵人容易成功，我所以高興。”十月，曹軍從長安出發，北征楊秋，包圍了安定。楊秋投降，又恢複了他的爵位，讓他留下治理所轄之地。十二月，從安定返回，留下夏侯淵駐守長安。