在當時，許多西南聯大的教授紛紛來到龍泉鎮，躲避空襲、建造住房。林徽因和梁思成也選擇了一處空地，一起畫圖紙，建起了他們平生第一次為自己設計的住房。金嶽霖在他們房子的旁邊加蓋了一間“耳房”，他為能再和林徽因一家做鄰居而感到無比開心。
那些大多數婦人日複一日的家務事，反而成了林徽因最大的苦惱，她不願在沒有意義的瑣碎家事中匆匆度過一生。再加上蓋房子花光了他們所有的積蓄，還欠了別人一屁股的債務，林徽因不得不把所有的精力花費在如何解決一家人的溫飽上。
老金在寫給費正清夫婦的信中提及林徽因的狀況：“她仍舊很忙，隻是在這種鬧哄哄的日子裏更忙了。實際上她真是沒有什麼時間可以浪費，以致她有浪費掉她的生命的危險。”
然而金嶽霖的情況也不樂觀，在林徽因1940年11月信給費慰梅的信中，她這樣描述了金嶽霖的生活：“可憐的老金每天早晨在城裏有課，常常要在早上五點半從這個村子出發，而沒來得及上課空襲就開始了，然後就得跟著一群人奔向另一個方向的另一座城門、另一座小山，直到下午五點半，再繞許多路走回這個村子，一天沒吃、沒喝、沒工作、沒休息，什麼都沒有！這就是生活。”
然而，即便是這樣的生活，也不能得以維持。隨著轟炸的日益加劇，營造學社不得不隨著中央研究院史語所搬遷，從昆明遷往四川重慶西邊大約三百五十公裏的一個小鎮——李莊。
在寫給費正清夫婦的信中，梁思成提到此事，萬分沮喪：“這次遷移使我們非常沮喪。它意味著我們將要和已經有了十年以上交情的一群朋友分離。我們將要到一個除了中央研究院的研究所以外遠離任何其他機關、遠離任何大城市的一個全然陌生的地方。大學將留在昆明，老金、端升、奚若和別的人也將如此。”
就這樣，林徽因和梁思成不得不離開朋友，離開剛建好的小屋，再一次踏上流亡的旅途。他們不知道這樣居無定所的日子何時才能結束，他們更不會預料到，一家人要在李莊那個貧困的小山村一住就是五年。
藏起了風花雪月的情懷，隻為在戰火中多一份安然。今天不知明天的生死，他們卻依然可以樂觀開懷。為了抵達一個地方，他們曾曆經磨難，等到真的將要離開，卻發現一切又過得太快。人生有無數個驛站，離開了昆明，前方還有新的驛站仍在等待。
染疾·氤氳殘香
從喧囂跌進沉寂，隻需一刻，而等到一顆心塵埃落定，卻要花費若幹年。在命運的麵前，一個人的努力似乎那麼渺然，用盡全力去呐喊，也散不盡滿腔的積鬱，最後隻剩頹然。
花開鮮豔，花落難尋。曾以為，飽經風霜的花會散發更醉人的清香，然而時光流轉，逐漸明白風刀霜劍隻會加速一朵花的凋零，一朝飄落枝頭，從此再難尋覓。
在流亡的時光，林徽因日漸消瘦，往日的靈動和神韻已經逐漸流逝在奔波的旅途中，剛到李莊，她就再次病倒了。李莊是一個依山臨水的小村子，除了一條水路外，整個村莊幾乎與世隔絕，村子的生活條件比昆明還要差很多。更嚴重的是，位於四川的這個村子陰雨連綿，過於潮濕，非常容易加重林徽因的肺病。
林徽因始終高燒不退，梁思成擔當了丈夫、醫生和護士的多重身份，每天給林徽因打針、量體溫，他把大部分的薪水都給林徽因買了藥品，生活一度非常拮據。不僅日子難過，親人的去世和朋友的相繼離開更給人以精神上的打擊，而這些都和病痛一起，折磨著瘦弱不堪的林徽因。
1941年3月14日，林徽因的小弟林恒死於在成都上空的一次對日空戰，梁思成前往成都料理他的後事。懷著對弟弟的無比思念，以及對在晃縣認識的那八名陣亡學員的哀悼，她在三年後寫了《哭三弟恒》：
弟弟，我沒有適合時代的語言
來哀悼你的死；
它是時代向你的要求，
簡單的，你給了。
這冷酷簡單的壯烈是時代的詩
這沉默的光榮是你。
假使在這不可免的真實上
多給了悲哀，我想呼喊，
那是——你自己也明了——
因為你走得太早，
太早了，弟弟，難為你的勇敢，
機械的落伍，你的機會太慘！
三年了，你陣亡在成都上空，
這三年的時間所做成的不同，
如果我向你說來，你別悲傷，
因為多半不是我們老國，
而是他人在時代中碾動，
我們靈魂流血，炸成了窟窿。
我們已有了盟友、物資同軍火，
正是你所曾經希望過。
我記得，記得當時我怎樣同你
討論又討論，點算又點算，
每一天你是那樣耐性的等著，
每天卻空的過去，慢得像駱駝！