林徽因寫過一個短篇小說叫《繡繡》。第一人稱敘述，講的是一個小女孩繡繡，跟著母親一起過活，日子很苦。母親生了五六個子女，都不幸夭折。繡繡的爹爹徐大人雖然闊綽，卻另外養了家眷在別處，對繡繡母女很是苛刻。姨娘專寵，繡繡和母親失去了父親的愛。母親讓繡繡去爹那裏要錢，繡繡又怕又羨慕，她也渴望得到爹爹買給姨娘的鍾，還有爹爹的狗。繡繡就這麼孤苦地過著，病了也沒人管。繡繡的爹來要地契，母親不給，爹爹一怒之下，砸碎了繡繡剛用皮鞋換來的兩隻小花瓷碗。
故事當然是虛構的，敘述者是“我”，但很明顯，這個“我”並不是林徽因的代言人，小說的主人公“繡繡”，才是林徽因情感體驗的寄托者。父親有了姨太太，母女寄人籬下，母親脾氣暴躁，繡繡孤單單成長著，病了也沒人管。小說開頭，繡繡用皮鞋換來的兩個花瓷碗，在故事的結尾也被父親摔破了，象征著美好童年的破碎。林徽因很少提及自己的童年，但在小說《繡繡》中，她的童年體驗，卻展露無遺。她和母親的關係，是那樣糾結。愛又愛不起來，恨也恨不下去。林徽因和母親何雪媛，說白了是兩個時代的人。都說女兒是媽媽的小棉襖，但林徽因這件“小棉襖”，對於何雪媛來說，卻滋味複雜。 何雪媛是舊式的人，林徽因卻是新式的棉襖。
林徽因是新女性，留過洋，寫新詩，搞建築，她的父親、她的丈夫、她的朋友、她周圍的一切，都是那樣嶄新、明亮、向上，充滿了朝氣。唯獨她的母親何雪媛，是委屈的、守舊的、固執的、急躁的，像林徽因的背影，永遠躲在陰暗之處，探著兩眼，看世間的一切。何雪媛可憐，她是舊時代的女人，沒有機會讀書接受教育，在生兒育女這件大事上，又沒能“建功立業”。在林家，她終究有些氣弱。可她有什麼辦法呢？她是一個寄居者。丈夫在的時候靠丈夫，丈夫不在的時候靠兒女。仔細想想，何雪媛何嚐不像是林徽因的身後路，布滿腳印，深一腳，淺一腳，彷徨的、無告的、又愛又怨的過去。
何雪媛是個來自浙江嘉興的小鎮西施。父親是個小作坊主，家庭還算殷實，她在家裏排行最小，免不了有種老幺的任性，女紅學得不甚到位，處理人際關係上也欠缺技巧。何雪媛是林長民的續弦。大太太葉氏，與林長民係指腹為婚，感情不深，她病逝過早，沒留下子嗣。可想而知，何雪媛嫁入林家的重要任務之一，就是傳宗接代。何雪媛生過一男兩女，隻有林徽因活了下來。在重男輕女的時代，何雪媛得不到婆婆的歡欣，幾乎成了必然，更何況，女紅、書法、詩詞，她沒有一樣拿得出手，在出身大家閨秀的婆婆麵前，一方麵可能是有些自卑，另一方麵，即使偶爾想要表現，一不小心，卻也會露怯。
舊時婦女，庭院深深，家庭幾乎就是她的全部天地，小範圍內的不得誌，已經足夠給何雪媛致命的打擊。可她又有苦說不出，她也努力了，也爭取了，生了兒子也生了女兒，但即便是她踮起雙腳，伸長雙臂，理想中的幸福，還是像枝頭的紅蘋果，高高掛起，遙不可及。改變不了命運的人，最容易陷入怨天尤人的怪圈。何雪媛的一生，怨氣氤氳不散。
舊時代，不孝有三，無後為大。何雪媛傳嫡無望，林長民再娶，實是意料之中的事。結婚十年，何雪媛迎來了一位“妹妹”——上海女子程桂林，她不得不把丈夫分給程桂林。可歎的是，程桂林幾乎是把何雪媛的丈夫囫圇個搶了過去。程桂林文化不高，但經過上海風物的熏陶，乖巧伶俐四個字，想必是肯定的，再加上她年輕，能生，一連生了幾個兒子，舉家歡喜。偏偏林長民又是不懂掩蓋自己歡喜情緒的人。他有個別號，叫“桂林一枝室主”，這一名字，顯然是從“程桂林”三個字裏化出來的。林長民住在“桂林一枝室”裏，其樂融融。林徽因和何雪媛被攆到了後院，住小房子。從此，前院承歡，後院淒清。母親鬱鬱寡歡的形象，給林徽因留下了不可磨滅的印象。
童年生活，對於林徽因來說是陰天多過晴天。父親和母親，在她的生命中，劃出了一道界限。父親那邊是晴天，明朗的，向上的，簇新的，母親這邊是雨天，陰鬱的，沉寂的，鑽心的。何雪媛的急脾氣，恐怕多少也影響到了林徽因性格的養成。林徽因也是急脾氣，心直，口快，耐不住。但環境的不如意，也讓林徽因變得早熟。
林徽因年幼時，林長民時常在外，偶有書信寄回家，林徽因會寫回信，那時她隻有十二歲。林長民寫道：