1977年12月，老金因肺炎住進了北京醫院，這是一所重點為中共高級幹部服務的醫院，老金認為自己是高級幹部，遂住了進來。想不到院方並不把他當作高級幹部看待，各方麵的待遇與普通職員、群眾無異。在院方與醫療人員的漠視下，老金病情加重，直至昏迷不醒，有時半夜說胡話，或大喊大叫：“我是高級幹部……”[93]
1980年11月，老金肺病複發，再度住院治療。此次吸取了教訓，不敢再送門檻奇高的北京醫院，而是進了低一級的首都醫院。此時的老金仍認為自己是高級幹部，結果又弄了個頭暈心寒。對此，老金後來抱怨說：“哲學所的領導小組曾解除我的行政工作，封我為一級研究員。我想一級研究員當然是高級幹部。無論如何我認為我是高級幹部。”但自進首都醫院住院後，“他們把我安排在一間前後都是玻璃通明透亮的大房間。我是怕光的，帶眼罩子帶了幾十年的人住在那樣一間房子真是苦事。要單間房，首都醫院不能照辦，據說是因為我不是高級幹部。後來我住到郵電醫院去了。病好出院我向梁從誡提及此事，他說我根本不是高級幹部。我看他的話是有根據的。這樣，我這個自以為是高級幹部的人才知道我根本不是高級幹部。”[94]
不是高級幹部而被迫離開首都醫院的老金，自郵電醫院出院後已不會走路了，隻能長期臥床療養。有一次，哲學研究所的領導們看望老金，寒暄過後，拐彎抹角、小心謹慎地提到了老人的書籍之事，暗含的意思是希望他捐給哲學所。並不糊塗的老金一聽就明白，但他明確表示，自己的藏書是幾十年積攢的結果，其中有些書的搜購，有梁思成與林徽因的情感和功勞，因而，當自己百年之後，所藏書籍要留給梁從誡，以寄托對梁林二人的緬懷之情。
1982年春，老金覺得死神已在家門口守候，自己行將魂歸道山，遂於3月7日特別給社科院哲學研究所黨組織寫信，謂：“我可能很快結束。我要借此機會感謝黨、感謝毛澤東同誌、感謝全國勞動人民把中國救了。瓜分問題完全解決了。四個現代化問題也一定會解決。”又說：“我死之後，請在我的存款中提出叁仟元獻給黨。請勿開追悼會，骨灰請讓清風吹走。”[95]
1984年10月19日下午3點35分，老金因雙側肺炎、肺氣腫、冠心病等病症醫治無效，在北京305醫院逝世，終年89歲。
10月20日，中央人民廣播電台播發了消息，稱：“著名哲學家、邏輯學家、中國人民政治協商會議全國委員會委員、中國科學院前哲學社會科學部委員、中國社會科學院哲學所副所長、中國共產黨優秀黨員金嶽霖同誌……畢生致力於我國哲學、邏輯學的研究和教學工作，對我國邏輯學的建設和發展，對我國哲學研究和教育事業都做出了重大的貢獻，在國內外學術界享有很高聲譽……”
一座文化大山承載著學術巨子就此隱入曆史天空的霧靄中，在大山移動和巨人揮手告別的曆史回聲裏，八寶山殯儀大廳肅立棺前涕泣送別的後生學子們，聽到了如下一段對話：
學生：現在是各種主義相爭雄的時候，請問老師哪一派才是真理？
老師：凡屬所謂“時代精神”，掀起一個時代人興奮的，都未必可靠，也未必能持久。
學生：什麼才是比較持久而可靠的思想呢？
老師：經過自己長久努力思考出來的東西。比如說，休謨、康德、羅素的思想……[96]
濃重的天幕逐漸開啟，送別者隱約辨出對話中的老師是金嶽霖教授，學生是15年前死於台灣孤島的殷福生（海光）。對話地點在昆明西南聯大院內，時間是1943年一個秋風飄拂、月光斑駁的晚上。兩個並排的身影踏著微風掀起的零星樹葉，在悠揚的琴聲中漸行漸遠。倏忽間，如濤似浪的哀樂灌頂而來，月下身影瞬間消失，一陣冷風襲過，師生的對話成為一曲渺遠空靈的絕響。