正當曹操的勢力日益擴大的時候，劉備的勢力也漸漸發展起來。劉備是涿郡（今河北省涿縣）人，字玄德，據說是西漢皇帝的本家中山靖王劉勝的後代。不過傳到他這一代的時候，家境已經很貧苦，隻能靠和母親一起編賣草席、麻鞋過日子。後來，靠同族人的幫助，才拜老師讀了一點書。可是他不大愛讀書，卻喜歡結交豪傑。
東漢靈帝末年，社會發生動亂，劉備得到中山（今河北省定縣）富商張世平、蘇雙的幫助，招募義兵，組織地主自衛武裝。關羽、張飛前來應募。
張飛字翼德，是劉備的同鄉。他性情暴躁，但為人直率，有什麼就說什麼。他有一身武藝，好見義勇為。
關羽字雲長，是河東解良（今山西省解虞縣）人，年輕的時候好打抱不平，常常招惹是非。有一回，他因出於義憤殺了一惡霸，背迫離家逃出潼關。關羽過了潼關，東行到涿郡，結識了張飛。恰好劉備招兵，他倆就去報名了。劉備看他們武藝高強，很有才幹，對他們特別親切。就和他們在花紅葉綠的桃園裏結拜為兄弟。劉備是老大，關羽是老二，張飛最小。他們對天發誓，表示要同心協力，幹出一番事業。這就是曆史上有名的“桃園結義”的故事。
劉、關、張桃園結義後，一邊招兵買馬，一邊打製兵器，擴充自己的武裝力量。他們三個帶著招募來的士兵，因鎮壓黃巾起義有功，東漢政府就派劉備做安喜縣（今河北省定縣）縣尉，主管一縣的軍事。
劉備剛剛上任幾個月，代表郡守督察下屬各縣官吏的督郵就來到安喜。這位督郵大人貪贓成性。劉備沒給他送禮，督郵因此拒絕見他。劉備火氣大，決定辭官不幹，就帶上關羽、張飛，拿著縣尉的大印，到督郵的住處去了。
督郵以為劉備送禮來了，很高興地出來見他。結果看到劉備兩手空空，臉色當時就變了，輕蔑地問他：“你是什麼出身？”劉備毫不含糊地說：“我是漢朝宗室，中山靖王後代，因為平定黃巾有功被任為安喜縣尉。”督郵大怒，說：“劉備，你敢冒稱宗室，冒領戰功！我這次就是受朝廷之命來查處你這種人的！”劉備更不客氣，他讓張飛衝上去，不由分說地揪住督郵就打。直到劉備看差不多了，才讓住手。
劉備帶著關羽、張飛去投奔公孫瓚。他們在公孫瓚那兒討伐了叛亂稱帝的張純、張舉，立下戰功。朝廷不但免了劉備打督郵的罪，反而任命他為別部司馬。後來，又任命他為平原相，關羽、張飛為別部司馬。
劉備三兄弟帶上趙雲，一起去上任了。趙雲，字子龍，常山郡真定（今河北省正定縣）人。他身強體壯，武藝超群，為人正派。他和劉備哥仨情同手足。一天，他們收到陶謙的求援信。陶謙是徐州牧，他的部將張闓貪圖錢財，搶走了曹操父親的全部財寶，並殺了曹家老小。曹操恨得咬牙切齒，當即下令，三軍戴孝出征，立誓要殺死陶謙。陶謙抵擋不住，便求救於劉備。於是劉備帶領三千人馬前去援救，逼走了曹操。
陶謙對劉備感激不盡。他認為劉備確是個人才，就給劉備四千人馬，請他留下來幫助自己。劉備感到陶謙非常誠懇，而平原又沒什麼可留戀的，就答應了。陶謙立劉備為豫州刺史，請劉備駐紮在小沛。從此劉備就以小沛為基地，平時注意發展生產，整頓治安，操練兵馬。後來，陶謙死了，劉備繼任徐州牧。被曹操打敗的呂布、陳宮前來投奔劉備。劉備讓呂布屯兵小沛。
不久，袁術為了擴充地盤，發兵徐州。劉備安排張飛和下邳相曹豹鎮守下邳，自己同關羽進軍到盱眙（xūyí）迎戰。袁術和劉備交戰一個多月，不能取勝，就以20萬斛軍糧、500匹戰馬為交換，約請呂布襲擊徐州，同滅劉備。呂布本來就是個反複無常的人，看到有利可圖，就接受了袁術的條件，乘著張飛酒醉，攻占了下邳。張飛帶著少數人去找劉備、關羽。