林徽因的世界在不停地變，因為那個時代在不停地變，沒有人能留在原地，隻能被迫前行，不知道未來究竟會怎樣。對於當時的中國來講，建築業本就不是很迫切的需求，所以林徽因根本不用投入太多的精力，但是她卻偏偏放棄那些能夠讓自己過得更好的工作和領域，全身心地投入其中。抗日戰爭爆發之後，對建築業的研究更加艱難，而且在工作時經常能夠聽到槍聲。即使是這樣，她和丈夫梁思成還是投入了極大的熱情，先後發現了隋代的趙州橋、唐代的佛光寺、北宋的龍光寺、遼代的獨樂寺和應縣木塔等有價值的建築，勘定其年月，揣摩其結構，計算其尺寸，然後繪圖、照相、歸檔。
之後，他們輾轉到了昆明，她在寫給費慰梅的信中傾訴了向昆明逃難的經過：“我們在令人絕望的情況下又重新上路。每天淩晨一點，摸黑搶著把我們少得可憐的行李和我們自己塞進長途車，這是沒有窗子、沒有點火器、樣樣都沒有的玩意兒，喘著粗氣、搖搖晃晃、連一段平路都爬不動，更不用說又陡又險的山路了……”
後來她們又搬到了李莊，梁從誡回憶說：“一九四〇年冬，由於日寇對昆明的空襲日益加劇，營造學社追隨中央研究院曆史語言研究所再度西遷到四川宜賓附近的一個小江村——李莊。這裏距揚子江盡處隻有三十公裏（宜賓以上即稱金沙江），而離重慶卻有三天的水路，是個名副其實的窮鄉僻壤。我們住進了一處篾條抹灰的簡陋農舍。艱苦的生活，旅途的勞頓和四川冬季潮濕、陰冷的氣候，終於使母親的舊病惡性發作、臥床不起。而同時父親脊椎軟組織灰質化的毛病也變得愈來愈嚴重。
“在李莊的生活確實是艱難的。家裏唯一能給母親養病用的‘軟床’是一張搖搖晃晃的帆布行軍床。晚上，為了父親寫書和我們姐弟做功課，全家點兩盞菜籽油燈，當時，連煤油燈都是過於‘現代化’的奢侈品。記得我在這裏讀小學時，除了冬天外婆親手做的一雙布鞋外，平時都隻能穿草鞋。偶爾有朋友從重慶或昆明帶來一小罐奶粉，就算是母親難得的高級營養品了。父親愛吃甜食，但這裏除了土製紅糖之外沒有別的。父親就把土糖蒸熟消毒，當成果醬抹在饅頭上，戲稱之為‘甘蔗醬’。整個李莊沒有一所醫院，沒有一位正式醫生，沒有任何藥品。家裏唯一的一支體溫計被我失手打破，大半年母親竟無法量體溫。就是在這樣的條件下，她的病情一天天沉重，卻得不到像樣的治療。眼看著她消瘦下去，眼窩深陷，麵色蒼白，幾個月的工夫，母親就失掉了她那一向煥發美麗的麵容，成了一個憔悴、蒼老、不停地咳喘的病人。”
有時候他們的生活需要依靠朋友的接濟才能夠維持，實在沒有辦法了也會拿衣服去典當，最後實在是沒有典當的了，梁思成會拿著他的寶貝——派克金筆和手表去典當。可是被他視為寶貝的東西，卻隻能換回來一兩條草魚，即使是這樣，他回家之後也會詼諧地說：“把這派克筆清燉了吧，這塊金表拿來紅燒。”