建武九年八月，杜茂、郭涼率軍進攻繁畤。漢軍的開局很不錯，在猛烈攻勢下尹由抵擋不住，屢戰屢敗，繁畤城岌岌可危。關鍵時刻，上萬匈奴騎兵再次出現，杜茂、郭涼大敗。在匈奴騎兵的強追猛趕下，漢軍退至與太原郡交界的樓煩縣（今山西寧武附近）。這一次打狗，不僅繁畤沒攻下，連雁門郡北部也丟給了盧芳。再次失敗讓劉秀清醒認識到匈奴騎兵的可怕，於是他決定先集中精力平地蜀地，同時嚴令駐防北方將領不得再主動出擊，麵對盧芳的各種騷擾忍得住要忍，忍不住也要忍。
其後數年，漢軍北方邊防頻頻承受盧芳與匈奴人的侵襲，煩不勝煩，幾無還手之力。但各路邊防將領中，唯一人應對自如，此人便是上穀太守王霸。針對匈奴騎兵來去如風的特點，他將上穀一帶堅壁清野，同時修整飛狐道（“飛狐道”乃史書上有名之古道，由淶源縣城向北，至蔚縣城關，全程140裏，因道路艱險，僅飛狐可度而得其名，是匈奴北下侵襲之主要通道），派軍駐防。王霸還在代郡（河北省蔚縣西南）至平城三百多裏的邊塞修築大量亭、障（小型要塞）及烽火台，同時上奏劉秀將數千囚犯加入軍中彌補北地軍力之不足。
每逢敵軍侵襲，王霸均以堅城利弓拒之，同時埋伏騎兵於城外，逢匈奴人倦馬乏時突襲之。如此數次，匈奴人嚐到了苦頭，再不敢輕易侵襲上穀。
積極防禦同時，王霸還上書建議於溫水（即漯餘水，流經今北京北）漕運軍糧，這一來極大節省了陸路運輸所需消耗的大量人力畜力。
王霸這一守，便是二十餘年。遠離了洛陽的喧囂浮華，遠離了妻兒的天倫之樂，在邊塞狂風與黃沙中，在上百次與匈奴騎兵血與火的戰鬥中，這棵“疾風勁草”為劉秀默默堅守著大漢疆土。建武三十年，垂垂老矣的王霸上奏劉秀，建議與匈奴和親，化幹戈為玉帛，溝通往來。劉秀采納了王霸建議，南匈奴、烏桓相繼與漢和好，大漢北疆戰火漸息。
數年來劉秀的容忍，讓盧芳已不滿足肢體上的小摸小捏，他要觸及靈魂，於是他親率大軍進攻雲中郡，不過雲中城守軍讓他碰了一鼻子灰，強攻數月損兵折將無數，竟無法攻下。就在其部下士氣低落之時，劉秀大軍平定隴右，直搗蜀地，一個稍有頭腦的人也知道此時的盧芳想要與劉秀爭天下無異癡人說夢。於是盧芳的小朝廷內，人心崩離，變亂叢生。
建武十二年冬，公孫述滅亡，終於統一中原，無後顧之憂的劉秀決定正式對盧芳下手。就在他集結大軍準備發兵之際，遠在雁門的杜茂、郭涼送來一個好消息：盧芳大將尹由被部將賈丹、霍匡、解勝所殺，此三人已率部向朝廷歸降。
短短一個月內，反叛的浪潮遍及北方五郡，各郡守將紛紛向劉秀歸降。盧芳身邊大將隨昱亦起了反意，欲歸降劉秀，還密謀擒下盧芳作為獻與劉秀之禮物。不過走漏風聲，被盧芳察覺，這盧芳不知是確實沒氣質，還是本身大腦結構異於常人，居然不是立即內部肅反，而是帶十餘親信拋下大軍，竄入塞外避難去了。
建武十六年，盧芳命大將閔堪的兄長閔林向劉秀請降。劉秀很滿意，便詔令盧芳於第二年正月入朝覲見，並封其為代王，閔堪為代相，閔林為代太傅。就在盧芳按期入朝時，半路接劉秀詔書令其暫緩，待次年再入朝。接詔後，盧芳再次展現他非常人之思維，做出決定——再次造反，麵對如此二百五之老大，閔堪、閔林不願意了，為向劉秀表忠心，當即發兵攻打盧芳，雙方在邊塞糾纏廝殺了好幾個月，最終盧芳徹底死心，逃至匈奴，在匈奴居住十餘年後病逝。
中華大地上最後一個與劉秀抗衡的地方勢力就此覆滅，可盧芳的表現讓筆者實在無法將梟雄二字冠於其首，他甚至連一顆小小的絆腳石都算不上。