對徐州虎視眈眈者大有人在，曹操、呂布都盯著這塊大肥肉，袁術自然也不肯落後。
袁術突然出手，發兵進攻徐州。劉備派小弟張飛留守下邳，自己領軍在盱眙、淮陰一線阻擊袁術，雙方勢均力敵，互有勝負，相持一個多月。
張飛是一員猛將，上陣殺敵是他的能事，但管起政事來就不大得心應手了。很快，張飛就跟下邳相曹豹鬧翻了。曹豹是陶謙舊部，估計是看劉備、張飛這夥外省人不順眼，難免橫眉冷對。張飛本來就是黑道混出來的，才懶得去擺事實講道理，他隻擅長白刀子進紅刀子出，遂一刀結果了曹豹。這一殺不得了，陶謙舊部嘩然兵變，下邳城頓時陷入混亂之中。
當袁術得知下邳兵變的消息，意識到這是推翻劉備的絕佳機會。他馬上給呂布發去一封密信，勸他趁機襲取下邳，還答應給他提供糧食。對呂布來說，這簡直是喜從天降。
我們說過，呂布這個人，隻知道別人要感他的恩，自己卻從來沒有半點感恩別人之心。說白了，他就是十足的投機分子。呂布原本駐軍於下邳以西，有了袁術的支持，他悍然發兵，由水陸兩路東下，奔襲下邳。劉備的麾下中郎將許耽開城投降；張飛奪路而逃，但逃得太急，一不小心把大嫂給忘了。劉備的妻子落入呂布之手，同時還有其他將士的家眷，悉數成為人質。
這是三國版“農夫與蛇”的故事。
劉備是好心的農夫，呂布則是一條毒蛇。老巢失守，劉備無心戀戰，急急忙忙回師下邳。然而，將士們的家眷都成了呂布手中的人質，已經沒幾個人有死鬥之心了，到了下邳城，將士們早就逃的逃、散的散了。
屋漏偏逢連夜雨。在劉備狼狽不堪之際，袁術的進攻並沒停止。劉備左右受敵，隻得收羅殘兵敗將，鼠竄至廣陵郡。他並沒能擺脫困境，在接下來與袁術的戰鬥中，又一次大敗，退守海西。這時劉備前有強敵，後有大海，如果再不能扭轉局勢，很可能被趕下海喂魚了。
饑餓與困乏如洪水猛獸襲來，這支殘破的軍隊遭到滅頂之災，士兵們為了苟全性命，竟然出現殺人食肉的現象。這一刻，恐怕連劉備也認為自己的理想就要灰飛煙滅了。
如此巨大的挫折與傷害，與其說是袁術所迫、呂布所逼的結果，倒不如說他躥起得太快。羽翼未豐卻飛得太高，豈能不急速下墜呢？
短短兩年，他從一個默默無聞、幾乎可被忽略不計的平原相，一下子成為徐州牧（刺史），幾乎可以擠進全國地方割據勢力的前十名。可是他的上位隻是陶謙的決定，由一個外省人來統治徐州，陶謙舊將的不滿情緒可想而知。劉備在徐州沒有深厚的根基，他之所以引呂布這頭惡狼入室，本意未嚐不是想借呂布之威勢以震懾徐州諸將。袁術的進攻隻是點燃徐州火藥桶的導火索，而張飛成事不足，敗事有餘，差點把老大推入火坑。
劉備之所以大難不死，完全要歸功於一人，這個人便是糜竺。
糜竺變賣家產，雪中送炭，幫助劉備度過糧食危機。即便如此，以劉備那點殘破的兵力，如何能抵擋住袁術咄咄逼人的攻勢呢？在這個時候，劉備反倒鎮定了，大丈夫能屈能伸，時運不濟，不妨夾起尾巴做人，他決定向呂布投降。
問題是，呂布剛剛奪了他的地盤，會接受他的投降嗎？
會。
有三個理由：
第一，呂布與袁術有隙。當初呂布從長安逃出來後，前往南陽投奔袁術。袁術認為呂布狂妄自大，終不能為己所用，動了殺心，呂布不得不逃離南陽，投奔袁紹。因此，呂布雖暫時與袁術合作，但彼此之間毫無信任可言。
第二，呂布的兵力不足。他剛剛在兗州之戰中被曹操打得大敗，與之結盟的張邈、張超又已覆滅，逃到徐州時兵力所剩不多。這時的呂布麵臨幾大困境：一是曹操隨時可能南下，二是袁術在一旁虎視眈眈，三是他與劉備一樣，是外來勢力，在徐州毫無根基，難免受到徐州將領的敵視。光憑呂布一人的力量，顯然難以應付。
第三，呂布不認為劉備是個威脅。在慧眼識英雄的本領上，呂布顯然不如陶謙。在呂布看來，劉備就像一個突然中了頭彩的暴發戶，靠的隻是運氣。確實，劉備既無雄厚的實力，知名度也不高。他還不如孫堅的兒子孫策，當時許多名士去投奔孫策，卻少有人前來投靠劉備。兩年前北海相孔融向他求援時，劉備還為孔融居然聽說過自己而大感意外。誠然，我們今天都知道劉備是蓋世英雄，可是倘若我們生活在那個年代，能認出他就是蓋世英雄嗎？他腦門上也沒刻著“蓋世英雄”四個字。呂布打從投靠劉備後，直呼他為小老弟，從這個細節也可以看出，呂布內心深處對劉備是不太看得起的。既然不認為劉備是個潛在的威脅，那麼呂布也沒有理由拒絕他的投降。