先前在許都的曹操仍不放心合肥的事情，就親自率領大軍前來支援，軍隊來到汝南的時候，聽說孫權已經撤兵了，也就停了下來，命令製造一些輕便快捷的戰船用來訓練水軍。
公元209年七月，曹操率軍經過淝水進駐合肥。曹操非常清楚合肥重要的戰略地位，合肥、廬江一線如果失守了，他就隻能退到淮河以北，那麼他統治的中原地區就要受到很大的威脅了。因此，他在積極加強防務、努力為水上作戰作準備的同時，從自己的長遠利益出發，還采取了一係列積極鞏固淮南防線的措施。
首先，他頒發了一道《存恤吏士家室令》，宣布凡是將士沒有了產業，戰死以後家屬不能養活自己的，命令縣官千萬不要停止口糧的供應。部隊長官要對他們進行撫恤、慰問。這樣做就是為了鼓舞士氣，安定人心，盡快走出失敗的陰影。
其次，曹操重新任命了揚州各郡縣的行政長官，大大加強了各級領導力量；提拔、任命了一些人才，這其中最主要的有劉曄、溫恢和蔣濟。曹操還把揚州的首府從壽春遷到了合肥，大大加強了合肥的地位。
曹操還委派官員在芍陂周圍地區負責開墾荒地，招募流離失所的農民，實行屯田。這樣做對促進糧食生產、保證軍糧供應，有非常重要的意義。
此外，曹操還派夏侯淵、於禁、張遼、張郃等人討平了雷緒、陳蘭、梅成等人的叛亂。
曹操采取的這些措施都非常有力地鞏固了淮南防線。公元209年十二月，曹操率軍回到譙縣。
生子當如孫仲謀
公元211年，孫權為了更加有力地防備曹操和爭奪淮南，就把自己的都城從京口西遷到了秣陵。第二年，孫權又把秣陵改名為建業，並且還在建業的西麵依山勢築城，就叫做石頭城，用來儲藏軍糧和軍械。接著，他采納了呂蒙的建議，在通往巢湖的必經之路——濡須水口夾水建起了塢。塢是一種用作軍事防禦的圓形建築物，濡須塢因為形狀好像偃月，所以又叫做偃月塢。孫權在這裏立塢，根本目的在於要牢牢控製從巢湖到長江的通道，防備曹操南進，跨過長江進攻自己。
公元212年十月，曹操得知孫權遷都的消息後，給孫權寫了一封信，威脅孫權投降，孫權沒有搭理他。
威脅不成功，曹操就動起武來，率領大軍南下，討伐孫權，號稱四十萬。公元213年正月開始進逼濡須口，張遼和臧霸擔任曹軍的前鋒。部隊到達濡須口的時候，正好趕上天降大雨，湖水快速上漲，孫權派出的守軍利用自己的水上優勢，勇猛地向前進逼，曹軍非常驚恐。張遼打算暫時先退兵，避敵鋒芒。可是臧霸不同意，他對張遼說：“曹公對利弊了解得非常清楚，難道會把我們丟下不管嗎？”所以率領軍隊仍然堅守不動。
果然，到了第二天曹操下達了全軍大舉進攻的命令，曹軍上下一鼓作氣，成功攻破了孫權設立在長江西麵的一座大營，都督公孫陽被曹軍俘獲。於是張遼就向曹操彙報頭天的戰鬥情況，曹操對臧霸的表現十分滿意，馬上任命他為揚威將軍，並且還授予他假節的稱號和權力。