劉備到了小沛以後，開始積極發展自己的勢力。公元197年冬天，楊奉、韓暹和呂布鬧矛盾，他們對呂布很不滿，就暗中聯係劉備，相約一起進攻呂布。劉備很了解楊奉、韓暹的為人，知道他們反複無常，根本不能合作。就表麵上答應了他們的請求，在設宴款待他們的時候，趁機把他們抓住，殺了他們，隨後兼並了他們兩個人的部隊，力量大為增強。
呂布得知這個消息之後，心裏十分忌恨劉備。後來在公元198年春天的時候，呂布派人去河內買馬，在途中劉備的人搶走了買馬用的銀兩，呂布再也沒有辦法忍耐。再加上袁術被打敗後想東山再起，就一直拉攏呂布對付曹操，於是趁著曹操第二次攻打張繡的時機，他們對劉備發動了進攻。
劉備馬上向曹操求救，曹操得到消息立刻派夏侯惇率兵支援劉備。但是夏侯惇被呂布的大將高順打敗，劉備本人也打不過呂布的大將張遼，於是就撤退到豫州西北部，一方麵組織兵力對抗呂布，另一方麵靜待曹操的援軍。
公元198年的7月，曹操第二次出兵討伐張繡和劉表的戰爭已經取得了勝利，這時候他回到了許昌，發現自己所處的形勢仍然很不好：這時候曹操雖然打敗了張繡和劉表，但還沒有打垮；東邊的呂布打敗了夏侯惇和劉備；東北邊的青州小軍團臧霸、孫觀這些人在熱烈響應呂布的號召，威脅著兗州的安全；南邊的袁術雖然已經沒有什麼實力了，但也難保他不會來湊湊熱鬧；北麵的袁紹虎視眈眈，靜觀其變，這一切都讓曹操很難受。
這時候他還接到了袁紹寫給他的一封信，袁紹在這封信中說自己剛並吞了河北，地多人也多，誰都不怕。言語之中非常傲慢，對曹操很不尊敬。
曹操的自尊心受傷了，一衝動就想帶兵和袁紹決戰。於是他召開了軍事會議，商討下一步的行動。但結果卻是大部分將領都提出了要采取守勢，不主張主動進攻。這時候荀攸和郭嘉卻主張反守為攻，要聯合劉備，重點去打擊呂布，不主張和袁紹提前決戰。他們還列舉了這樣做的理由：
一、袁紹在北方，對袁術和呂布從來都沒有一點好感，所以絕對不會主動配合他們來夾擊我們。況且袁紹現在正在和幽州的公孫瓚火並，沒有什麼精力來攻打我們，所以要趁著這個機會去攻打呂布。如果先去攻打袁紹，呂布就會在背後進攻我們，我們可能就會腹背受敵，最後什麼都得不到。
二、劉表和張繡剛剛被我們打敗，他們不會主動進攻，隻要在我們的邊境上派大將守住就行。
三、呂布和袁術都是反複無常的小人，根本不可能真正聯合在一起。青州的那些黃巾軍也隻是牆頭草，隻要我們集中兵力打敗呂布，他們的聯盟就完了。
曹操覺得他們兩個人的意見很有道理，就積極采納了他們的意見。但是曹操還是有些擔心袁紹會聯合關中的馬騰和韓遂，還有益州的劉璋來反對他。荀攸和郭嘉就出主意，讓鍾繇全權代表曹操鎮守長安，負責招撫關中的馬騰和韓遂。曹操采納了他們的意見，後來鍾繇到了長安之後，就給馬騰、韓遂寫信招撫他們，果然他們分別把自己的兒子送到了許都做人質。
軍事會議結束後，曹操決定集中兵力進攻呂布。這年九月，曹操帶領大軍向東進發。在行軍途中，聽說劉備已經被呂布打敗，丟掉了小沛，而原來在青州活動的黃巾軍餘部已經投靠了呂布，於是曹操命令加快行軍速度，在梁國境內遇到了劉備，兩家就合兵一處，一起東進。
這時候，呂布已經放棄了小沛，退守彭城，打算堅守彭城。十月份，曹操大軍抵達彭城，此前曹操已經帶兵解決了青州的黃巾軍餘部。曹操帶兵到達彭城後，呂布的謀士陳宮給呂布提建議，讓呂布趁著曹操大軍遠來，非常疲憊的時機給予迎頭痛擊，這樣就能以逸待勞，取得勝利。但是呂布拒絕了陳宮的建議，他想在曹操的軍隊橫渡泗水的時候，突然對曹操發起攻擊，把曹操的軍隊殲滅在泗水之中。
可是呂布的如意算盤落空了，還沒有等呂布進攻，曹操的軍隊就已經快速渡過了泗水，來到了彭城城下，接著猛烈攻城，最後呂布倉皇逃跑到了徐州。
這時候跟隨呂布的陳珪父子又幫了曹操的大忙。陳登就忽悠呂布，說曹操帶兵來勢凶猛，徐州城很危險，應該把老婆兒女都送到下邳保護起來。呂布想都沒想就同意了，他派自己的親信宋憲、魏續把自己的老婆兒女，包括保護家屬的近衛軍都通通轉移到了下邳。
當時呂布那邊采取的具體防守安排是：陳宮率領軍隊防守徐州東北邊的蕭關；高順和張遼率領少部分軍隊守住了沛縣；呂布正從下邳率領主力部隊前來支援陳珪、糜竺防守的徐州城。
在呂布帶兵前來徐州的路上，陳登又對呂布說，他願意去聯絡陳宮，在呂布率領部隊到達的時候，雙方舉火為號，然後內外同時進攻曹操，就一定能夠打敗曹操。呂布這個大傻瓜又同意了。呂布就命令軍隊減慢了行軍速度，然後派陳登去聯係陳宮。