吳光新大感難堪和氣惱。他進一步感到跟他說話何其艱難，他的心態始終難以擺脫受審判的感覺。於是，他把一線希望寄於段祺瑞的許諾上。他說：“唉，直說吧。此次督辦有意保薦仁兄為湖南督軍，取代天怒人怨的張敬堯。仁兄以為如何？”
他的話音剛落，張福來、蕭耀南，董國政紛紛發言：“吳師長早該做督軍了”，“當初中央就不該把督軍給張敬堯”，“張敬堯壞事做盡，早該嚴懲”……“哈哈，”突然，吳佩孚迸發一陣大笑，“保我當督軍？督辦大人怎麼突然對我感起興趣來了？”
“吳師長才華出眾，”吳光新說，“眾望所歸，切莫辜負督辦美意喲。”
“不！”吳佩孚站起來，變得非常嚴肅，“我早就說過：不借外債，不住租界，不出賣國家主權，不做督軍，不搶占地盤。至於撤兵北歸，我已在幾次通電中說得清楚明白。我一定據理力爭，務求實現，不惜任何代價！”
吳光新大感憤怒與失望，他知道再談下去毫無意義。於是，懷著沉重沮喪心情，離開衡陽。碼頭上冷冷清清，沒人送行，與來時大相徑庭……吳光新說完衡陽之行，段祺瑞半天不說話。他既無憤怒，也無悲傷，隻顧吸煙，走路，沉思默想。吳光新垂手而立，走也不是留也不是，追視著他的身影，大氣兒不敢出。足足站了十幾分鍾才吞吞吐吐地說：“姐夫，我……”
段祺瑞這才記起他，揮揮手，吳光新像遇赦囚犯，匆忙離去。
壁爐裏烈火熊熊，室內燈光幽暗。段祺瑞躺在壁爐旁鋪著虎皮的躺椅上，雙腿搭在特製的寬凳上，身上蓋著一條舊毛毯，閉目養神，冥思苦索。他不似其他權貴，總是泡在女人堆裏，這個捶腿，那個揉肩。他好形單影隻，想自己的心事。除少數人外，他不允許隨便進他的書房，更不允許打擾他的思路。
大江悄悄走進來，撒嬌地說：“爺爺，你還不吃飯？有好吃的梭魚。”
段祺瑞忽然睜開眼睛，直直地看著孫子，好像第一次看到他。他長高了，長大了，長成英俊的翩翩少年。由於兒子不爭氣，整天花天酒地，段祺瑞對兒子大感失望，一見到兒子就罵就斥兒就火昌三丈。因此，把希望寄托在孫子身上。基於這種情結，段祺瑞對孫子幾乎投入全部感情。他本能出伸出手，抓住孫子胖胖的小手，和藹地問：“多大了？”“爺爺，你忘了，我都15歲了。”“啊，15歲，的確長大了，我像你這麼大早當兵一年了。努力呀孩子，爺爺把希望全寄托你身上了。”說著，眼圈兒紅了。
“爺爺，”孫子跪在爺爺身邊，頭靠在爺爺肩上，“那就讓我當個小兵吧。”
“孩子，”爺爺撫摸著孫子的頭說“不，你要好好讀書，將來當個文武全才的將軍。”
“放心吧，”一個嬌滴滴地聲音說：“俺大江準能當將軍，做總理。”
不知何時，三姨太蘭葉出現在書房門口。段祺瑞本來就恨女人隨便插話饒舌，尤其不許女人幹政，加上心情不好，於是，扳著臉說：“你來幹什麼？”“請老爺吃飯哪，人是鐵飯是鋼，老爺不吃飯怎麼行？”“滾出去，別煩我！”蘭葉垂淚而去，嘟囔道，“老爺的脾氣越來越壞了。”
形勢益發嚴峻。
吳佩孚不愧“弄潮兒”，他一個小小師長屢作驚人舉，把全國局勢搞得沸沸揚揚。他接二連三發通電，大造撤防北歸的輿論。全國各大小報刊，幾乎天天有吳佩孚的消息，學生把他視為偶像，國人稱他“民族救星”。1920年1月17日，他又發表堅決請求撤防電報：“於役湘省，兩載於茲，迭請撤防，未承允準。”直軍將士“久戍思歸……北望叩首，涕泣哀懇”。
曹錕一反往日之含蓄，在電文空白處寫上：“戰死者既作泉下之遊魂，生存者又為他鄉之餓莩。”分別抄送徐世昌，靳雲鵬和段祺瑞。
段祺瑞緊鑼密鼓，加緊備戰。
這天上午，地處安定門黃寺的邊防處院內，十幾部轎車停在院內，軍政要員又在召開秘密會議。參加會議的有祺瑞、徐樹錚、王揖唐、李盛鐸、曲同豐、陳文遠、段芝貴以及日本總顧問阪西利八郎等。
段祺瑞表情沉重而嚴肅地說：“我提醒大家：形勢非常嚴峻。政府準不準，吳佩孚執意要撤防。而我的邊防軍隻能擺在北方用以自衛，尚無多餘兵力赴衡陽接防。吳師一旦撤防，就等於敞開南大門，南軍會隨時揮師北進。有消息說：吳佩孚已與西南偽政府達成秘密協議，由它們接濟開發撥費60萬元資助吳師撤軍，條件是吳師走後由湘軍填防。吳小鬼還和西南簽訂《救國同盟草約》，有共組同盟軍，推倒皖係，驅逐徐世昌，召開國民大會，另組南北統一政府的野心……”
“吳小鬼夜郎自大，不自量力！”徐樹錚插嘴。
“不，他有力量。”段祺瑞接著說“7省反皖大同盟已經形成，共同對付我們。看來仗是非打不可的。我們隻有奉陪到底了。吳佩孚不除，國家無寧日。
“我將以四項戰略迎接直係挑戰：第一，積極整軍經武，擴軍備戰，做到有備無患。近期我還要檢閱軍隊，觀看軍事演習，大抓軍事建設。在座將軍都要把心思用在備戰上。第二，采取有效措施阻斷吳師歸路，形成‘關門打狗’之勢，使其首尾難顧，力爭消滅在湖南。關於具體措施，等會兒請又錚詳述。第三，河南地處中原和南北要衝，是直軍必經之地，戰略地位十分重要。然而，豫督趙倜非我係中人，在直皖對峙中每持中立態度，對我的指令一向虛與委蛇。為在直皖對抗中發揮河南的扛鼎之力，我決定撤換豫督和省長。望二位議長配合。”