五月中旬，發生了一件震驚九州的大事，王允夥同呂布將國賊董卓伏誅，西涼個將領紛紛落荒而逃，但王允卻自以為得天下第一猛將相助後便天下無人能擋，下令盡誅西涼軍，使得西涼軍各將聽從了亂國之毒士賈詡的建議圍攻集結兵力圍攻長安，張繡得知此事，迅速命人告知呂智“中原即將大亂，自己不得不更從叔父張濟夥同郭汜，李傕等人圍攻長安，望呂智迅速離開中原前去荊州避難。”呂智收到書信後為保護家人安危隻好收拾行李離開故土前去荊州避難。
這日，去往荊州的呂智一家人有些困乏，來到路旁的一家驛站準備休息稍許，遇到了兩位風塵仆仆的年輕人。驛站客滿兩人來到呂智一家的桌旁，欲與其同桌。呂智觀此二人，一位是衣服學子打扮，另一位一身俠士衣著，並不像什麼窮凶極惡知人，眼見此時驛站確時人滿為患便同意了他們的請求。既然坐在同桌自然閑聊起來，幾人在交談中慢慢熟絡起來，呂智從他們口中得知此二人學子打扮的是石韜，俠士打扮的是準備棄武從文的徐庶，二人得知對方竟然是名滿天下的少年郎呂智後十分震驚。隨即告知呂智他們二人也是為躲避戰亂欲望荊州避難。逃亡途中得知龐德公正在襄陽，準備前去拜師。同時呂智也了解到現在長安有李傕，郭汜擊敗呂布逼死王允後二人共同把持朝政，此二人對於百姓的壓迫更甚董卓。漢朝兩都如今被西涼軍閥摧殘的了無人煙，早已失去了昔日的繁榮。呂智心中如今大漢名存實亡的狀況感慨萬千，一桌子上除了要照顧小呂泰的張寧外，呂智、徐庶、石韜三人對於如今的形式辯論起來。徐庶二人沒想到呂智不僅武藝超群，眼光也很獨特，便邀請呂智不如與自己二人一同前去襄陽拜龐德公門下學習。呂智也感覺到光有勇武，沒有智謀複仇大業很難達成，目光詢問了一下張寧。張寧認為讓夫君跟隨龐德公學習一段時間也好，爭取能消除夫君心中隻想複仇的執念，隨即同意。於是呂智一下便與徐庶石韜一起向襄陽進發。
幾人行走了數日時間，終於到達襄陽。呂智安頓好家人後與徐庶、石韜二人找到龐德公的書院。在書院裏三人很快便找到了龐德公，說明來意後龐德公考校了他們一番，覺得三人都是可造之才，尤其是呂智，隻聽聞他武藝非凡，沒想到文學功底也很紮實，便收三人為徒。就這樣呂智便在這裏開始了他的另一次學習生涯。