可蔡靖還是沒接受許采的建議，蔡靖讓蔡鬆年和李振給許采捎話說：“郭汾陽已決定親自率軍迎敵。”
為鼓舞士氣，蔡靖從庫府中拿出大量金帛，大張旗鼓地犒賞常勝軍。
而後，郭藥師親率常勝軍一路往東挺進。
十二月初六，常勝軍來到三河縣（後世河北三河縣）的白河之西岸。
此時，完顏宗望已率軍兵臨白河之東岸。
郭藥師怕完顏宗望有埋伏，沒有立即冒然發起進攻。
是夜十分，郭藥師查看清楚戰場的情況之後，才人馬並進渡過白河。
金軍見常勝軍過河迎戰，也有些懼意。
完顏宗望及時整頓軍馬，然後親自指揮部下迎戰常勝軍。
是時，兩軍東西相對。
不久，兩軍就展開大戰。
此戰是一場硬戰，雙方都算是盡了全力，鏖戰三十餘裏。
可見戰況之慘烈。
打到最後，郭藥師的三百親衛，隻盛一百二十人。
其他各軍的損失情況，可想而知。
十二月初七，蔡靖等燕山府官員站在燕京東城牆上，眼巴巴地向東朝著白河方向瞭望。
一直等到下午，蔡靖等人才見白河方向，煙塵滾滾。
過了好大一會兒，忽見張令徽率軍退回，接著劉舜仁也退了回來。
傍晚時分，郭藥師也率軍退回
他們三人情緒全都有些沮喪，相互埋怨。
雖說張令徽與郭藥師都出自怨軍，這些年也一直同進退。
可其實張令徽與郭藥師矛盾很深，而且由來已久。
當初，張令徽與郭藥師在遼國做官時，張令徽官職一度曾在郭藥師之上。
投降大宋之後，郭藥師不僅官位在張令徽之上，而且還受到趙佶寵幸，還得到二帥（即童貫和蔡攸）的賞識。
這讓張令徽很嫉妒。
張令徽一想到自己備受冷落就怏怏不樂負氣不平。
王安中在任時已有所覺察，曾向趙佶推薦過張令徽，趙宋朝廷也曾委任張令徽為節度使高官。
但即便是這樣，張令徽還是在郭藥師之下。
所以，張令徽心裏一直很不平衡。
這也就導致郭藥師和張令徽矛盾不斷，在這次在與金人交戰的過程當中，郭藥師和張令徽互不信任，以至他們沒能戰勝金人。
蔡靖見郭藥師、張令徽、劉舜仁都敗退而歸，感覺形勢不妙，於是率領燕山府監司來到城南門內開會議事。
轉運使呂頤浩建議，立即組建一支二千人的敢死隊，然後打開城門，向南撤退。
說穿了，呂頤浩就是看出來了燕京的形勢不好，想要先跑。
提舉官沈琯則不讚成開城門，他認為，不管形勢多艱難，他們這些人都該為大宋守好燕京這個重要的前沿陣地。
蔡靖想了想，說：“現在大家先回去，可以與家人商議一下，不妨先送骨肉南歸。”
蔡靖回到家，對許采和蔡鬆年說：“今天，我們在南門裏開了一個短會，他們都想棄城南撤，你們看如何？”
許采與蔡鬆年都認為，不可這樣做。
許采說：“公是守土之臣，豈可與他人相比？自當以死守之。況且，公若率諸人同行，他們都各有眷屬拖累。而且，今城南盧溝河一帶，敗軍滿野，他們無以泄發，寧知不會截殺我等？”
蔡靖說：“靖之意正如此。”
不一會兒，有人來報告說，呂頤浩與廉防使梁競攜帶家屬到達城南門，準備出城而去，另外有漕司吏卒大約一二百人，他們在城南門砸門，也想出城南逃。
蔡靖果斷下令說：“你立即帶人手持利刃，前去阻止，敢有乘亂而出者，斬之！”
過了很久，城南門一帶才平定下來。
這天晚上，燕京城裏有傳言說，常勝軍可能要發生叛變。
許采聽到消息後，急忙向蔡靖報告。
蔡靖不太相信這個消息，他對郭藥師和常勝軍還是很相信的。
這時，呂頤浩、梁競等人都來到蔡靖家，他們力勸蔡靖棄燕而遁。
安撫司勾當公事吳激，也向蔡靖建議：“可退出燕京，以求自保。”
許采則對蔡靖分析說：“唐室之亂，如李、郭諸將，曾有退保者，他們各提重兵，或以此地未便，或就水草，或就地勢。但是，燕山乃公所治理之地，與上述情況不同。吳激之言非是，萬一公聽從了他的建議棄城而逃，等到他日，他們必然會將責任推到公身上，不可不察也。況且，如果常勝軍知道公率眾而逃，郭藥師他們也必然會以此為藉口，將公抓捕，公能逃往哪裏？”