此時的徐誌摩對林徽因和張幼儀是兩種截然不同的態度。他對林徽因有多麼熱情似火，對張幼儀就有多麼冷酷無情。接到林徽因的信，為了方便離婚，他甚至逼著妻子打胎，在妻子生產後不久，又逼迫她在離婚協議書上簽了字。
愛情本身就有令人瘋狂的魔力，而當愛情降臨在詩人的身上時就更添幾分瘋魔，而終生都在追求愛、自由和美的徐誌摩更是如此。可是，現實粉碎了他的夢想，命運對他，正如同他對張幼儀一樣無情、冷漠。
林徽因和父親早徐誌摩一年回國，一旦回到傳統的現實社會，曾經在浪漫的國度發生的愛情故事仿佛也變得不真實。家族中人一致反對林徽因和徐誌摩交往，一個傳統的中國家庭是無法容忍自己的女兒插足別人的家庭，使家族的名節受辱。林徽因隻得回到現實當中去。
在之後短暫的時間裏，林徽因毅然選擇了梁思成而拋棄了徐誌摩。這種少女身上少有的決斷，也許和她的童年際遇分不開。她的朋友費慰梅曾經說：“家中的親戚把她當成一個成人，而因此騙走了她的童年。”的確，她幾乎沒有別人那樣天真爛漫的童年。
林徽因的母親何雪媛，是林長民的第二任妻子。林長民的第一任夫人病逝，沒有留下一個子女。何雪媛運氣也不好，到林家8年之後才生下了林徽因，之後又生了一兒一女，都不幸夭折。到了第10年，林長民又娶了個妾，名叫程桂林，乖巧可人，還生下四個兒子一個女兒，林長民的歡心就此被徹底奪走。
程桂林和四個兒女住在寬敞明亮的前院，而林徽因和母親卻被安置在狹小陰暗的後院。但如果將這一切完全歸咎於林長民喜新厭舊也有失公正，何雪媛出生在浙江嘉興小業主家庭，打小嬌生慣養，不會女紅，也不識字，脾氣又暴躁，還愛管閑事，在當時的社會背景下，很少有家庭會欣賞這樣的女子。
雖然林長民對大女兒林徽因一直是寵愛有加，可是在大家庭裏長大的林徽因，作為失去父親寵愛的太太生下的女兒，對人情世故，有著比一般人更深刻的體驗。
她心中終究不忍心別人因為她，而像自己母親那般被遺棄。到1947年一度病危時，她以為自己不行了，特地央人請來張幼儀母子，雖然虛弱到不能說話，依然仔仔細細打量了眼前的兩個人。她這樣的舉動是耐人尋味的。
失去林徽因，徐誌摩幾近崩潰，而林徽因卻冷靜下來，選擇了梁思成，在關鍵時刻，她清楚誰才是真正適合陪她一生的伴侶。
林徽因不否認自己與徐誌摩有一種靈性上的和諧與共鳴，也不隱瞞自己對他的真實情感，“他變成一種Stimulant在我生命中，或恨，或怨，或Happy或Sorry，或難過，或苦痛，我也不悔的。”在徐誌摩飛機失事以後，林徽因發表悼文寄托哀思，又讓梁思成揀來一塊飛機殘骸懸掛在臥室，一直到死。但是林徽因到任何時候都是一個冷靜的女子，就在她的悼念文字裏，她依然說“他如果活著恐怕我待他仍不能改變”，“也就是我愛我現在的家在一切之上的確證”。
林徽因跟閨中密友費慰梅常常談起一個話題，那就是徐誌摩，每每提起這個名字，她的心頭仿佛都被割了一刀。
“天空的蔚藍，愛上了大地的碧綠，他們之間的微風歎了聲哎！”就連異國友人泰戈爾都為他們發出了這樣的感歎。