林徽因的母親何雪媛是林長民在指腹為婚的太太葉氏病逝之後再娶的，且婚後八年才生下第一個孩子林徽因。何雪媛相貌俊秀，但自幼在小鎮長大，無甚學識，因家境殷實，故也不懂什麼女紅與交際，在婆家就沒那麼受重視。而在一個重男輕女的封建大家庭裏，她雖生了幾個孩子，活下來的卻隻有林徽因一個女孩，也沒有擔當起傳宗接代的大任，綜合種種因由，她在林家，沒有長房少奶奶之勢，反倒處處被冷落。
為了子嗣的興旺，林長民又娶了上海姑娘程桂林。程桂林年輕漂亮，又能言善道，善於生養，嫁過來後一連給林家添了好幾個子女，林家舉家上下無不歡喜。
對於林徽因來說，家從此分成了兩個天地。前院是二娘程桂林帶著弟弟妹妹居住的地方，後院是自己和母親居住的地方。從林長民自封“桂林一枝室主人”便可看出他內心的偏向，因此前院是熱鬧的，而後院則是冷清寂寥的。
林徽因年歲尚小，卻聰慧早熟，除了詩文浸潤，恐怕與落在眼中的家庭現實也脫不了關係。這種早熟，從她十二歲時給父親林長民回的一封信便可知曉。
那時，林長民經常外出，寄回家的書信有時便由已經識文斷字的林徽因回複，林長民的信是這樣寫的：
知悉得汝兩信，我心甚喜。兒讀書進益，又馴良，知道理，我尤愛汝。聞娘娘往嘉興，現已歸否？趾趾聞甚可愛，尚有鬧癖（脾）氣否？望告我。
林徽因接信便回：
本日寄一書當已到。我終日在家理醫藥，亦藉此偷閑也。天下事，玄黃未定，我又何去何從？念汝讀書正是及時。蹉跎誤了，亦爹爹之過。二娘病好，我當到津一作計。春深風候正暖，庭花丁香開過，牡丹本亦有兩三葩向人作態，惜兒未來耳。葛雷武女兒前在六國飯店與汝見後時時念汝，昨歸國我餞其父母，對我依依……
字裏行間，很難看得出是一個十二歲的小姑娘所撰，盡管也有小女孩的眼光，但其心思的縝密，已然是大人所具。她對於自己將來的所思所謀，對於進學的渴望，也反映出了她在兩個天地間生活的狹迫。
母親何雪媛被冷落，自然鬱鬱寡歡，日間所有的怨懟，隻能對林徽因講。林徽因心裏裝著對父親的愛，也裝著對母親不爭氣的怨恨，她對同父異母的弟妹有著發自內心的疼愛，可也不得不受著半封建家庭中複雜人際關係的折磨。
對於童年，林徽因留下的文字極少，隻對好友費慰梅略略談起過。費慰梅後來說：“她的早熟可能使家中的親戚把她當成一個成人而因此騙走了她的童年。”
被剝奪了童年的人生是一種怎樣的體驗，隻有身在其中的人才能感受。家庭中這場沒有硝煙的戰爭，在林徽因心裏種下了外人能看到卻不能深切體會的陰影。敏感如她，在給好友的信中也不能撫平受到那份傷害後的悸動。她說，家庭戰爭帶來的永久創傷，令她在以後的歲月裏不能再看到一絲相關的痕跡，看到即覺厄運重現。
這，也為林徽因以後對感情與生活的選擇埋下了伏筆。