林徽因一家跟金嶽霖相處融洽，臨死前，金嶽霖還和林徽因、梁思成的兒子梁從誡生活在一起，他們稱他“金爸”，對他行尊父之禮。而他去世後，也和林徽因葬在同一處公墓，像生前一樣做近鄰。
汪曾祺寫過一篇《金嶽霖先生》，其中有個這樣的細節：
林徽因去世多年，金嶽霖忽有一天鄭重其事地邀請一些至交好友到北京飯店赴宴，眾人大惑不解。
直到開席前，他才鄭重地宣布：“今天是林徽因的生日！”頓使舉座感歎唏噓。他為了她終生未娶，因為在他心中，世界上已無人可取代她。
即使多年後，當金嶽霖已是80歲高齡，年少時的旖旎歲月已經過去近半個世紀時，有人拿來一張他從未見過的林徽因的照片，請他辨別拍照的時間地點，金嶽霖對著照片凝視良久，他的嘴角漸漸往下彎，像是要哭的樣子；喉頭微微動著，像有千言萬語哽在那裏。最後還是一言未發，緊緊捏著照片，生怕影中人飛走似的。
許久，他才抬起頭，像小孩求情似的對別人說：“給我吧！”林徽因的追悼會上，金嶽霖為她寫的挽聯格外別致，“一身詩意千尋瀑，萬古人間四月天”。四月天，在西方總是用來指豔日，喻義豐盛與富饒。她在他心中，始終是最美的人間四月天。他還記得當時的情景，他跟人說，追悼會是在賢良寺舉行，那一天，他的淚就沒有停過。他漸漸說著，聲音漸漸低下去，仿佛一本書，慢慢翻到最後一頁。
有人央求金嶽霖給再版的《林徽因詩集》寫一些話。他想了很久，麵容上掠過很多神色，仿佛一時間想起許多事情。但最終，他仍然搖搖頭，一字一頓地說：“我所有的話都應當同她自己說，我不能說。”他停一下，又繼續說：“我沒有機會同她自己說的話，我不願意說也不願意有這種話。
”說完，他閉上眼睛，垂下頭，沉默了。
梁思成、林徽因從歐洲考察建築歸國時，家中已為他們準備好了新房，即梁啟超在東四十四條北溝沿胡同的住宅（今北溝沿胡同23號），但這對新婚的小夫妻在此住了不長時間就啟程赴沈陽東北大學任教。當他們從沈陽回來後，全家搬入地安門內米糧庫2號居住。當時米糧庫胡同一帶住著大批清華、北大等學校的教授、學者，如陳垣、傅斯年住在米糧庫胡同1號，胡適住在4號等。後來，梁、林覺得米糧庫胡同住宅過於狹窄，又搬到北總布胡同3號。同米糧庫胡同相比，這是一個頗具特色的四合院，寬敞明亮，安靜舒適，院子四邊各有一排單層的平房，灰瓦鋪成的屋頂，房屋之間鋪磚的走廊也是灰瓦頂子。麵向院子的一邊都是寬闊的門窗，鑲嵌著精心設計的窗欞。
梁思成的女兒梁再冰這樣描述自己當時的家：“這所房子有兩個雖然不大卻很可愛的院子，我記得，小時候，媽媽常拉著我的手，在背麵的院子中踱步，院子裏有兩棵高大的馬纓花樹和開白色或紫色小花的幾棵丁香樹，客廳的窗戶朝南，窗台不高，有中式窗欞的玻璃窗使冬天的太陽可以照射到屋裏很深的地方，媽媽喜愛的窗前梅花、泥塑的小動物、沙發和牆上的字畫，都沐浴在陽光中。”自搬到北總布胡同3號的四合院之後，梁思成、林徽因夫婦淵博的學識和人格魅力很快吸引了一大批當時的學者和文化界精英圍聚而來，這其中便包括當年在英國狂追林徽因、此時已名滿天下的詩人徐誌摩；在學界頗具聲望的哲學家金嶽霖，另有政治學家張奚若、哲學家鄧叔存、經濟學家陳岱孫、國際政治問題專家錢端升、物理學家周培源、社會學家陶孟和、考古學家李濟、文化領袖胡適、美學家朱光潛、作家沈從文、蕭乾等。這些學者與文化精英常常在星期六下午陸續來到梁家，品茗談天，坐論天下事。每逢朋友相聚，風華絕代、才情橫溢的林徽因，總是思維敏銳，擅長提出和捕捉話題，具有超人的親和力和調動客人情緒的本領，使眾學者談論的話題既有思想深度，又有社會廣度；既有學術理論高度，又有強烈的現實針對性。可謂談古論今，皆成學問。沒過多少時間，梁家的交際圈子在北京地區的影響越來越大，漸成氣候，逐漸形成了20世紀30年代北平最有名的文化沙龍，時人稱之為“太太的客廳”。對於這個備受世人矚目，漸成國際俱樂部特色的“客廳”，曾引起過許多知識分子特別是文學青年的心馳神往，如蕭乾、沈從文等當時的小字輩人物，就曾因前來請教而得到林徽因的欣賞和提攜。
林徽因在這個名流雲集的文化沙龍中扮演著重要角色，正如當時也住在西總布胡同21號的美國學者、梁林夫婦的好友費正清所言：“她交際起來洋溢著迷人的魅力。在這個家，或者她所在的任何場合，所有在場的人總是全部圍著她轉。”費正清還說：“中國對我們產生了巨大的影響，而梁氏夫婦在我們旅居中國的經曆中起著重要作用。”有時，費正清夫婦一起到梁家去，見林徽因和梁思成在朗誦中國的古典詩詞，那種抑揚頓挫、有板有眼的腔調，直聽得客人入了迷。而且，他們還能將中國的詩詞同英國詩人濟慈、丁尼生或者美國詩人維切爾·林賽的作品進行比較。
而梁再冰對“太太客廳”也有著朦朧的記憶：“父親和母親都非常喜歡這個房子。他們有很多好朋友，每到周末，許多伯伯和阿姨們來我家聚會，這些伯伯們大都是清華和北大的教授，曾留學歐美，回國後，分別成為自己學科的帶頭人，各自在不同的學術領域做著開拓性和奠基性的工作。”談到“太太客廳”的常客，不能不提到兩位特殊人物。一位是詩人才子徐誌摩，一位是被稱作“老金”的金嶽霖。
徐誌摩和陸小曼結婚後，為了工作奔波在京滬兩地，於是經常有機會參加梁家的聚會，梁思成家成為他在北京最為重要的落腳點，自然，他也成為“太太客廳”最活躍的參加者。有人擔心，多情的徐誌摩會不會因此拋棄陸小曼，轉而再次追求林徽因。
一次，梁家為來華參加太平洋會議的柏雷博士舉辦主題歡迎茶會，而柏雷是徐誌摩最愛慕的英國女作家曼殊斐兒的姐夫。茶會結束後，徐誌摩要趕著坐飛機離京，他留給林徽因的最後一句話是：“我還要留著生命看更偉大的事跡呢，哪能便死？”1931年11月19日，徐誌摩因飛機失事在濟南附近遇難。噩耗傳來，林徽因痛哭失聲，昏倒在地，而梁思成則和張奚若與沈從文等人前往濟南料理後事。柏雷博士的主題歡迎茶會，成了徐誌摩在“太太客廳”的最後一個活動。