在戰爭與政壇的槍林彈雨中衝殺了一輩子的段合肥，至晚年才有了風平浪靜的錨地。
有回憶文章說，段祺瑞每天清晨繞房前的大草坪散步，直至身出微汗時才回屋洗濯。然後，上佛堂，麵對釋迦牟尼像虔誠誦經。再之後，家人把藤椅搬至草坪向陽處，他便靜心讀報，下午，與客人下圍棋。
段祺瑞乃圍棋高手，下圍棋是早年辦軍校時跟日本教習學的。據說其長子段宏業的棋道更高一籌。親曆者薛觀瀾說：“芝老弈時，態度甚佳，向無厲色，見棋即笑逐顏開。”可見迷棋之深。正因如此，這裏也就成了上海灘的一處高等級的棋館，總有高手前來與段氏父子過招。據說，老段自詡為“七段”，可見水平著實不低。
在北京的日子裏，即使治軍治國再繁忙，他也忘不了找人下棋放鬆一下。當時國中的圍棋高手，多到段府下過棋，並捎帶著接受主人的資助。段府的棋客中，最小的一位是十歲剛出頭的吳泉，人稱“圍棋神童”，曾在中央公園的來今雨軒讓一流棋手蒙羞，故被老段的一位棋友引進段府。小小少年，聰慧絕頂，每每殺得老段愁眉苦臉。老段惜其天分，憐其清寒，知其有名無字，便親為起字，並按月賞其大洋百元。北洋時代的一百元，按實際購買力折算，至少等於現在的一萬元人民幣。可以想見，這筆源源不斷的巨額收入對一個正在成長的天才少年有多麼重要！段氏定居上海後，當年的“神童”已寓居日本學棋五年，雖不滿二十歲，但國內早無敵手矣！聞段老定居滬上，年輕的大師專程到新的段公府與老人博弈，謝恩之意盡在有意輸棋中矣！此人入籍日本後，幾經曆練，竟見誰滅誰，被日本人驚呼為“昭和棋聖”！這就是以段氏所賜的“字”而享譽世界的一代圍棋巨匠吳清源。
打了一輩子仗的段祺瑞，總把戰爭當棋局。談及舊事，也愛以棋局作比喻。比如定居下來以後，有感於蔣委員長的恭謹周全，也有感於國事，就曾對人說：他和我下的那盤棋（指國民黨的北伐與執政府的反赤化），他贏了，贏得有風度；我希望他和日本人下，也要贏才好。
段祺瑞的最後時光，就是在這個足夠舒適的空間裏度過的。
雖然遠離了他曾叱吒風雲的北方，但畢竟是北洋軍人集團裏至高無上的元老，所以，前來這裏探看的新貴與故舊便一直沒斷過。他們叩門時，必然受到老輩門房的謙卑接待，肯定比我受禮遇。
哦，不，不，我說錯了。魯貴永遠是魯貴。這裏有一個現成的例子——
老段安居此院後的某天，一輛轎車停在這道漆黑的大鐵門前。一位精幹的藏青“中山裝”從副駕駛座上下車，趨前叩門。旁門開啟，穿長衫的門房探出頭來（嗬嗬，這個動作我已經比較熟悉），沒等問清來客姓甚名誰即表示很不高興：為何事先沒預約？“中山裝”趕緊代車裏的客人遞上名片（那會兒叫名刺）。門房看也沒看就關上了鐵門。車後排那位坐得筆直的光頭男子微笑著示意“不必介意”。於是，這輛高級汽車就在段公館外等了起來。此時，周圍的店前樹下堂口灶間，已於不經意間多了些陌生而敏捷的身影……
往下的故事，還是聽當年的親曆者，寡居後一直跟著父母一起生活的段式巽女士自己講吧：
我從二樓遙見似有客至，下樓向仆役詢問，接過名刺，則赫然蔣氏！急忙迎入，並扶老父出見。
門房這才知來客之尊、之貴、之高、之威——是蔣委員長登門拜訪來也！
喏，連說一不二的蔣介石也曾在此門外遭受冷落，況我輩乎？我立時覺得自己被這所房子拒之門外是很正常的事了。
往下接著看段女士的回憶：
？？？？
蔣氏向老人先致問候之意，坐定後又對老人的起居寒暖、身體現狀及醫療情況等，詢問甚詳。情意殷勤，言詞親切。坐了一個多小時方辭去。
蔣介石知道老師已無心重返政壇，而且，素有清廉之名，便留給了段祺瑞一個可以光拿錢不幹事的虛銜——國府委員。不料，老段曾經滄海難為水，隻掛著虛名，卻一直沒去南京參政議政。
由於蔣的關照，生平不攢錢的老段的晚年過得像在津門一樣，優雅而從容，政府按月撥給段府生活費一萬銀元——在20世紀30年代初期，這可是個巨大的數字。
蔣氏對他所看得起的軍政前輩真夠意思。也是這一年，國民政府以國葬的最高禮遇重新安葬了逝去多年的北洋時代的前總統黎元洪。