劉秀對吳漢的諸多惡習當然了如指掌，但是他需要一個人來統領河北係諸將，這個人非吳漢莫屬。吳漢雖然小問題不少，但對劉秀卻忠心不二，而且甚能領會劉秀的心思。當年殺謝躬，吳漢就是劉秀手裏的一把刀，他沒有像岑彭那樣被感情左右，毫不猶豫讓自己當了惡人，一刀取了謝躬性命。劉秀需要這樣的人。
成功擊退了隴西軍隊的反擊，穩住關中形勢之後的漢軍在三輔一帶轉入防禦。但劉秀顯然沒有就此停下攻略隴西的腳步。他換了一種方式，既然隴右兵強馬壯，急切難以攻克，那就先翦除掉隗囂的外翼，一步步孤立隗囂。劉秀的視線越過風沙迷眼的層層山巒，看到了隴西以北的盧芳勢力和隗囂側後的河西竇融勢力。
盧芳，字君期，安定三水縣人（今寧夏固原市原州區），也是個靠天下大亂發跡的地方軍閥。當然，他的發跡套路也基本雷同於各路豪強。盧芳很沒有新意地講了一個故事：當年漢匈和親時，漢室皇帝曾與匈奴汗王盟誓結為兄弟，互通姻緣，漢武帝迎娶匈奴穀蠡渾邪王的姐姐為皇後，生了三個兒子。後發生“江充之亂”，太子與皇後都被誅殺，次子、三子僥幸逃出了宮外。三子回卿逃到三水縣境內的匈奴屬國，躲在娘舅家裏。霍光平定內亂，迎立次子、三子回京，但回卿拒絕再回到漢室，終老於三水縣。回卿有個孫子，也就是漢武帝的曾孫叫劉文伯，劉文伯是誰呢？就是我，盧芳！
按照這個故事，盧芳不但是漢武帝的嫡曾孫，同時還是匈奴王室的親外曾孫——雙重皇族血統!盧芳用這個無恥到極致的謊言將假冒偽劣名門之後的騙局發揮到了更高的層次，遠超王朗等人。他告訴世人，血統這東西，沒有最高貴，隻有更高貴！
這個拙劣荒唐的謊言很快在西北民間不脛而走，廣為流傳，淳樸的邊民和一些羌胡小部落都信以為真，紛紛奉盧芳為主。劉玄稱帝後，為了安撫盧芳勢力，封他為騎都尉，鎮撫西北。更始政權滅亡後，盧芳毫不猶豫地加入了逐鹿天下的混戰，他聯合三水一帶的羌胡勢力，自立為“上將軍、西平王”。
盧芳成了三水一帶的土皇帝後，自然靠山吃山，靠水吃水，積極拉攏屢西羌、匈奴，不斷派使者前往結親和好。匈奴單於終於決定把盧芳作為他們在漢室中的代言人，於是把盧芳和他的哥哥盧禽、弟弟盧程都迎到匈奴，封他為“漢帝”。“偽漢帝”盧芳拜盧程為中郎將，率匈奴方麵資助的數千騎兵駐守安定，恃機圖謀中原。經過數年的擴張，有匈奴背景的盧芳漸漸獲得了五原、朔方、代郡等地方勢力的擁護。建武五年，盧芳定都九原（今內蒙古包頭西北），其勢力控製了五原、朔方、雲中、定襄、雁門等北方五郡。
初戰隴西失利後，劉秀擔心的是，已成驚弓之鳥的隗囂會與盧芳聯手，再將匈奴勢力引入關內，那樣的話，天下必將戰火遍地，後果不堪設想。
關中的形勢剛剛穩定，劉秀便立即任命征西大將軍馮異兼任北地郡太守，率軍進攻盧芳勢力。
是金子放在哪裏都會閃光，現在的馮異已經成了遇神殺神，獨步天下的常勝將軍了。馮異率領軍隊首先攻擊北地郡內的義渠縣（今甘肅寧縣西北）。義渠在曆史上非常有名，春秋戰國時期，義渠民族曾經在這裏建立了強大的郡國，與秦、魏抗衡而不落下風，並參與中原爭奪之戰，成為雄據一方的少數民族強國。義渠民族剛強勇猛，他們信奉“戰死為吉利，病終為不祥”，作戰十分勇猛，寧死不屈。
麵對這支剽悍勇猛的軍隊，馮異毫不畏懼，帶領軍隊發起猛攻。義渠守將青山胡率守軍萬餘人與馮異在隴北高原上往複衝殺，但麵對馮異嚴密的軍陣和極有章法的戰術，曾經以“戰死為吉利”的義渠軍隊最終選擇了舉城投降。
接著馮異又率軍乘勢進攻代郡，大破來援的盧芳部將賈覽、匈奴日逐王率領的聯軍，把匈奴騎兵逐回塞外。馮異之名一時威震西北，上郡、安定兩郡望風而降，劉秀隨即又命馮異兼任安定太守。在馮異麵前，盧芳與匈奴聯軍仿佛弱不禁風，如紙糊一般。馮異去世以後，劉秀曾命大司馬吳漢、驃騎大將軍杜茂多次北擊盧芳、匈奴，均無功而返。“大樹將軍”的統軍能力和胸中韜略實為雲台二十八將之翹楚。