看到漢軍故技重施，呼衍青急忙指揮匈奴士兵繼續按照剛才的方法，城牆上留下的少量士兵都躲在牆垛下邊，監視城外漢軍的動靜，而其他士兵則全都撤到城牆下邊比較安全的地方，這樣即使漢軍的攻擊再猛，匈奴士兵的傷亡也會比剛受到這種方式的攻擊時少的多。
看到城牆上的匈奴士兵都躲到城牆下邊去了，褚燕便指揮漢軍再次渡過護城河，豎起雲梯向城牆上發起了第二次攻擊，而匈奴士兵有了第一次勝利的經驗，因此也不再向開始的時候那麼懼怕漢軍了，這次他們的防守做的更好，輕騎兵同樣在丟下了幾十具戰死士兵的屍體之後，再次撤回到了城外的安全地帶
經過了兩次的攻防之後，時間也已經到了中午時分，褚燕看看單桓城也不是能夠輕易攻下來的，於是便帶著輕騎兵返回了大營，先讓輕騎兵吃飽了肚子之後，下午再接著攻打單桓城。
結果到了下午，漢軍故技重施，仍然用上午的方式來進行攻城，雖然這次比上午的戰果要好一些，曾經有幾個輕騎兵竟然順著雲梯爬上了城牆，隻是由於呼衍青親自帶著他的親兵與城牆上的匈奴騎兵拚死攻擊，才把輕騎兵的攻勢擋了下來，而呼衍青自己也受了輕傷，等到了傍晚時分，漢軍停止了攻城之後，呼衍青派手下的一名千夫長去清點了一下如今城中士兵的人數，結果經過一天不算激烈的戰鬥，原來的五千名匈奴士兵如今還剩下三千人，另外根據千夫長的統計，他們今天也消滅了大約二百多名漢軍。
雖然兩軍的傷亡人數懸殊，但是呼衍青也知道這主要是由於剛一接戰時漢軍的那兩種武器所造成的，畢竟匈奴士兵從未見過那些武器，因此才會出現較大的傷亡，後來的戰鬥由於自己指揮得當，死傷的士兵就比開始的時候少得多了，能剩下三千人也算不錯了，於是呼衍青讓大家趕緊休息吃飯，等到了子時，他便帶著這些人棄城而逃，去追趕呼衍王單於的大隊人馬。
城外的老劉和戲誌才早已經知道了城中匈奴人的打算，前天晚上漢軍的探子便發現大部分匈奴人已經逃離了單桓城，隊伍中的老人、婦女和孩子也不少，因此老劉和戲誌才得到消息後，便知道這是匈奴人打算繼續向西逃跑了，這也正中老劉的下懷，因此老劉和戲誌才商量了一下，決定不去追殺他們，畢竟給他們留下一定的實力，也便於他們將來在西方的生存，至於城中剩下的那些士兵，今天通過雙方幾次拉鋸式的攻防戰，也被輕騎兵消滅了不少，估計剩下的那些匈奴士兵今晚也該撤退了，戲誌才本來還想建議派一支隊伍去他們逃跑的道路上設下埋伏，將其一網打盡，但是後來一想老劉所說過的話，還是給他們留下了一條生路，所以戲誌才最後也沒有把這個主意說出來，也正因為如此，才令呼衍青帶著的三千匈奴士兵當晚順利逃出了單桓城，然後趁著夜色消失在通往西方的道路上。