離開之後，呂晨一行又遇上了兩次流民，人數不多，呂晨也是吩咐著發了些糧，但告訴他們可以去雁門等著分地分糧。
輜重隊行得並不快，事實上，呂晨也不準備再走快些，他曾經答應公孫續，等去了雁門之後，馬上就會帶兵東去支援公孫瓚。呂晨不急著去，他先要按部就班占據雁門，並將士兵和輜重完全送達雁門，並確保雁門安全。之後，再吩咐陳宮組織好收攏流民開荒種地，最後，他才會出兵去救公孫瓚。在這個時代，農耕是天大的事兒，救公孫瓚固然挺要緊的，但也沒有穩固自己的勢力重要。
其實呂晨所部北上已經有些晚了，但好在舊時農曆主要針對中原關中地區，雁門一帶地勢偏北，時間上稍有些延遲，所以，呂晨趕一些還來得及。這也是他迫不及待要離開河內，並讓張遼領軍突襲雁門的原因。
到西河郡治所離石，剛好二月二，龍抬頭。
這一天，呂晨所部分給了劉豹最後一批糧草和一些軍械，當然劉豹也給了呂晨一些戰馬，匈奴不缺馬。再然後，呂晨就要急著北上了，龍抬頭是耕牛下地的日子，雁門雖然偏北，卻也不能再耽擱了。甚至，三天前，陳宮就已經押著糧草全速趕赴雁門收攏流民，丈量荒地去了。
而就在呂晨帶著五百虎賁，護衛著家眷隊離開離石後不久，劉豹就派了騎兵來追趕，說有人在找呂晨。呂晨就納悶了，這都快跑到邊境線了，還有誰來找啊？隨後呂晨就看到很遠的地方，有幾個人騎著馬趕了過來，都是漢人打扮，那幾人多是奴仆打扮，隻當中一人衣服精美布料華貴。
“難道是來投奔小君候的？”
說話的是呂展，離開河內之前，他是幫呂晨寫了許多邀請函的，大致都是邀請河內河東的一些世家子弟去雁門做官，結果沒有一家響應。最後，人才匱乏的事情也隻能交給陳宮，呂晨希望他能從兗州和青州挖些人來，陳宮硬著頭皮答應了。
呂晨不認為這些世家大族能夠放得下所謂的臉麵追來，都是一群坐地起價的婊－子，回頭還想立三顧茅廬的牌坊。這年頭紙張並未普遍運用，書籍和知識的傳播更是局限在大家族之中，這些大族掌握了知識和權柄，根本容不下泥腿子出身的人。
所以，這些世家大族無一例外打了呂晨的臉，其中又以河內司馬家族最過分，過分得曹性都想帶兵把他家給屠了，當時，連張遼都沒攔著。卻是呂晨平定眭固楊醜叛亂之後，馬上派了信使去司馬家，卻連門都沒進著，還扔了幾枚五銖錢三個饃饃，打發要飯的。所以，呂晨想收攏司馬懿的希望落空了，一眾文臣武將俱都憤恨不已。
有了這次被打臉的經曆，呂晨突然就有些理解劉備攀附皇家血脈的動機了，也不太奢望有世家子弟能放下臉麵跟他混。
“追來的是誰？”
呂晨隻好拉著劉豹的騎兵統領問，畢竟他實在想不通誰會來追他。
統領不是漢人，卻黑發黑眼，顯然不是純種匈奴貴族，定然有不少漢人血統，而且常年在漢地，也會說漢話，他答道：“姓名不知，這些人是追到離石，發現你們已經走了，便直接去找左賢王，左賢王大概知道他們。然後左賢王便吩咐我們先來追你們，又派了人為他們引路好讓他們跟上，畢竟，他們騎馬太慢，而且還可能會迷路。”