南京之夏，熱得待不住，蔣委員長愛到九江的廬山上去處理軍政要務。當年酷暑來臨後，蔣宋夫婦便在山上派人請芝泉老及家人一同上山避暑。老段想必不愛與“黨國”的軍政大員們相遇，便派兒子上廬山辭謝了蔣委員長。第二年夏天，他做完胃潰瘍手術後，就被安排到廬山上靜養了一段時間。在山上，每天隻有兩件事——誦經，下棋，優哉遊哉。
段祺瑞在上海生活了三年半，民國二十五年（1936年）11月2日，因胃潰瘍複發而在宏恩醫院謝世。報載，他是因“憂慮國事”而致病情加重的。經英國醫生診治，他稍能坐起讀報，但閱知“國事緊張”後，病情急轉直下。
是時，侵占東北的日軍開始加緊對東北抗日聯軍的掃蕩，蘇聯與我外蒙地方政權擅自簽訂了《軍事互助協議》，日本華北駐屯軍開始以北平為攻擊目標進行大規模軍事演習。曾任執政府財政總長的李思浩南下看望老段時，憂訴北方國情，令老段心情大壞！
除外寇欺淩之外，國內的局勢也頗令他擔憂。大批國軍被調往西北實施圍剿共產黨軍隊的最後一役，而蔣介石正為此役飛往西安親自部署。
“正道老人”雖久已退出政壇，但卻無法不關注中國政局。空前沉重的內憂外患壓在老人衰弱的心頭，終致無藥可醫。
自知不起時，老人留下了遺囑。
因段氏遺囑算得上是“佶屈聱牙”，故筆者不揣冒昧，將其加注，加標點，並分行。試讀之：
餘年已七十餘，一朝怛化（“怛”讀如“達”，源自《莊子》，人死之意），揆（猜度）諸生寄死歸（成語，生如暫寓，死如歸去，意將生死置之度外）之理，一切無所縈懷。
惟我瞻四方，蹙國萬裏（蹙，收縮；國，國土。國土淪喪之意，源自《詩經》中“蹙國百裏”），民窮財盡，實所痛心！生平不喜多言，往日徙薪曲突（源自《漢書》，把煙囪弄彎，把柴草移走，以免火災，即“防患於未然”意）之謀，國人或不盡省記。今則本識途之驗，為將死之鳴，願我國人靜聽而力行焉！則餘雖死猶生，九原（墓地）瞑目矣。國雖危弱，必有複興之望。複興之道，亦至簡單——
勿因我見而輕啟政爭；
勿尚空談而不顧實踐；
勿興不急之務而浪用民財；
勿信過激之說而自搖邦本。
講外交者，勿忘鞏固國防；
司教育者，勿忘保存國粹；
治家者，勿棄國有之禮教；
求學者，勿鶩時尚之紛華。
本此“八勿”，以應萬有，所謂自力更生者在此，轉弱為強者亦在此矣！
餘生平不事生產，後人宜體我樂道安貧之意，喪葬力崇節儉，殮以居士服，毋以葷腥饋祭。
此囑。
祺瑞
八月二十日
段氏雖不喜文墨，但古學功底紮實。然而，其時，“蹙國萬裏”，更兼內亂不止，誰還顧得上咂摸一個過氣了的垂暮老人的諄諄留言？所以，“願我國人靜聽而力行焉”的殷切期望，也就成了一通無人理會的自說自話。逝者“九原”難瞑目矣！誠所謂“言者諄諄，聽者藐藐”。
堅信“攘外必先安內”才能救中國的蔣介石，其時已從西安返回洛陽，當天收到段宏業的報喪電報，即刻複電：
聞芝老夫子長逝，國傷耆賢（耆賢：年高賢德之人），世喪坊表！聞耗痛悼，寧唯私慟，敬電致唁，節哀為盼。
軍務纏身的蔣委員長意猶未盡，又致電上海市長吳鐵城轉段宏業雲：
上海吳市長譯轉段駿良先生禮鑒：
冬（二日）電敬悉，昨發唁電，諒達禮次。
老夫子令德考終，薄海永悼。中正行役在外，不克親臨視殮，除托鐵城兄代表致唁外，並已呈請政府優議追恤，以示崇報。
我兄孝思篤至，遭此大故，務望節哀自重。勉承公誌為盼！
蔣氏所說的“呈請政府優議追恤”，是他領銜多位國府委員提出的《關於段芝泉先生讚成共和再造民國遽爾逝世宜報哀崇，擬請予以國葬案》。隨後，蔣又派專人到段公府致送“私房錢”兩萬元為撫恤金。離開洛陽後，蔣氏複飛西安，督促東北軍與西北軍從速出兵剿共，不料卻被兩軍司令張學良與楊虎城發動兵變攫為楚囚！“西安事變”距段氏過世僅四十天，國事一時大亂！所幸黨國的“芝泉老”已魂歸西天，無法為國分憂矣！
段公府大門搭起素彩牌樓，院內高搭大棚，以為靈堂。國府主席林森為逝者題寫了“元老徽猷”的額匾懸於正中上方，匾下是逝者的大幅遺像。蔣氏送來的花圈上，寫著“芝老夫子處士千古”，兩旁懸滿政要、故舊們題寫的挽聯，有人甚至稱逝者為“一代完人”。其中，國府委員、軍委會副委員長馮玉祥氏的那副格外簡約，但卻耐讀：