隨著巴蜀之地被納入東漢版圖，劉秀基本上掃平了各個割據勢力，實現了一統天下的夙願。但他現在還要麵對自秦以來各個帝王都不得不麵對的麻煩——北方的匈奴人，這個對中原政權最具威脅的遊牧民族。早在建武二年，彭寵在漁陽反叛之時，匈奴單於就很積極地和彭寵聯合，準備伺機進圖塞內。彭寵被殺後，匈奴又轉而支持地方實力派盧芳，控製了五原、朔方、雲中、定襄、雁門五郡，寇略邊境。
建武九年，不甘寂寞的“偽漢帝”盧芳秉承人不犯我我亦犯人的原則，趁北方邊境空虛，命大將賈覽、閔堪於高柳（今山西陽高）集結重兵，準備南下。對盧芳這位要人品沒人品要能力缺能力之人，劉秀連慣常去信與其擺事實講道理之習慣也省了，詔令吳漢為主將，朱祐、王常、侯進、王霸、杜茂為副將，率五萬大軍進攻高柳。
盧芳沒啥能力，可大將賈覽、閔堪卻是聞名邊塞的猛將，麾下軍隊以騎兵為主，機動力很強。漢軍剛至城下此二人便率騎兵殺出城直撲而來，打了吳漢一個措手不及。恍過神來的吳漢大怒，親率騎兵反攻，很快漢軍兵力上優勢得到體現，賈、閔二人見勢不對，立馬撤退，返回城中據守。隻留下吳漢於城下破口大罵不已。
十數日後，攻城攻得極其鬱悶的吳漢驚喜發現城門再次大開，賈、閔二人再度率軍攻出城來。吳漢求之不得，指揮步騎合圍。雙方激戰正酣之時，天色如墨，烏雲密布，轉瞬間一場大雨傾盆而至。
大雨中，一大群騎士突然出現在高柳城外，他們手持長弓，腰係短刃，正是來自匈奴的騎兵。這些匈奴兵縱馬遊離於混戰之外，麵無表情地射出一支支利箭，如黑暗中持鐮之死神，不斷收割著漢軍的生命。
“匈奴人！”一聲淒厲大呼，緊張恐懼的情緒如海浪般瞬間彌漫於漢軍上下。吳漢盛怒之下親率精騎脫離戰團衝向這群匈奴騎兵。但匈奴兵根本不與其纏戰，而是四麵散開，利用嫻熟的騎術躲避漢軍追擊，在奔馳中挽弓不停，射殺漢軍。可憐那些英勇的漢軍騎兵連對手馬尾巴都沒摸到，就紛紛喪命於利箭之下。
看著屢屢吃匈奴人的啞巴虧，吳漢目眥欲裂，卻又無可奈何，隻得下令撤軍。可匈奴人說了：想來就來，說走就走，你當高柳是公共廁所麼？於是撤軍便成為漢軍噩夢的開始，騎兵還好，畢竟四條腿說撤便撤，可憐兩條腿的步軍，在不慌不忙尾隨其後的匈奴人眼中，便如草原上的獵物，箭場中之活靶。他們興奮地吆喝著，揮刀挽弓，肆無忌憚地奪走一條條生命，漢軍南撤之路屍橫遍地。
高柳一戰，由於匈奴人突然出現，漢軍慘敗。俗語說“打狗看主人”，劉秀忽略了盧芳這個傀儡政權其實乃匈奴人一條狗，而這條狗的主人立刻便給打狗的吳漢一個深刻的教訓。
既然野戰在匈奴人手裏討不了便宜，那就守吧。劉秀命朱祐守常山，王常守涿郡，侯進守漁陽，將距匈奴最近的上穀交予王霸，命其嚴守城池，不可貿然出擊。對於城池以外的黎民百姓，劉秀不是不願管，實為暫時無能為力，於是匈奴騎兵在大肆燒殺搶掠一番後缽滿盆盈地回家了。
忍耐並非懦弱的表現，但往往帶來更多屈辱。麵對劉秀的堅忍，狗仗人勢的盧芳不斷地對其領地下手。忍無可忍的劉秀命吳漢率六萬大軍再次出兵高柳攻打賈覽，由王霸與漁陽太守陳任先鋒。這一次吳漢汲取了教訓，在攻打高柳同時，將數萬騎兵精銳交由王霸統領，阻擊來援的匈奴騎兵。
吳漢這次安排很正確，數千匈奴騎兵援救高柳，途經平城（今山西省大同市）時被守候已久的王霸逮個正著。麵對數倍於己的漢軍騎兵，匈奴騎兵不敵，隻得回撤，漢軍一路追擊直至邊塞，匈奴人再次展現出機動力強的優點，很快逃之夭夭。
劉秀隨即將手中打狗棒再次指向屢次出兵侵擾雁門郡的盧芳部將尹由。而此次打狗由另兩位猛人負責，地點選擇在雁門郡繁畤縣。此二人便是雲台二十八將排名第二十的驃騎大將軍杜茂與雁門太守郭涼。
郭涼，字公文，右北平人，身長八尺，力大威猛，雖為武將，卻通經書，多智略，尤曉邊事。郭涼雖未列雲台二十八將，生平事跡記載甚少，但有一事便足證明其能力。郭涼初為幽州牧朱浮賞識，為兵曹掾，建武二年，漁陽太守彭寵反亂，攻薊城，大軍圍城一年零一個月竟不克，而守城之將正是郭涼。後彭寵之亂平定，郭涼因功被封廣武侯，任雁門太守。