長孫晟死後，長孫家並未料想中的好，他一死，長孫家就分崩離析，長孫家的長孫熾和其妻的哥哥高士廉都相中李世民，且通過當代相士姑布美譽的袁天罡曾言李世民是天子之相，而長孫晟幼女長孫無垢確實皇後之相，所以高士廉才想把妹妹高氏接回家，並且把長孫無垢當作未來皇後培養，後聞李家次子李世民有天子之相，遂有把外甥女下嫁李世民。
不過長孫無忌和長孫無垢乃嫡出，隻因其母乃北齊漢族宗室之後，漢人出生，不是鮮卑血統，所有在長孫家備受打壓，原本長孫晟欲傳家主之位與長孫無忌，遭到了長孫家所有弟子的抵抗，而且長孫晟當家時，就一直推動長孫家漢化，融入漢族，但是長孫家這種北魏王族的驕傲，感覺長孫家的高貴血統遭到了玷汙，內心深處並瞧不起漢人，非常鄙視，而且長孫晟極力抗拒家主給他的婚宴，決然地選擇了北齊宗室之後高家。
可以說長孫晟的選擇導致了長孫家雖然遵從他這個家主，隻是他一死，長孫家立即把長孫無忌和長孫無垢當作雜種，父親長孫晟屍骨未寒，就遭到長孫家驅逐，而袁天罡又看中長孫無垢是個賢德之女，所以故意在高士廉麵前說出了李世民是天子之相，而長孫無垢則是皇後之相。
本來李淵也看重高家在北方漢人心目中的地位，所以同意了這門婚事，並且在十年前就已定下了。高士廉和李淵都沒有想到，長孫無忌和長孫無垢雖然得到高家看顧，但是高士廉的心思以及高家同樣反對，覺得投在長孫無垢一個女人身上太不值得了，反對聲音同樣強烈，而且高家其他人和長孫家的人都鄙視長孫無忌和長孫無忌是雜種，並未想象中的生活無憂，而且其母高氏也是個驕傲的女人，不堪忍受高家歧視的目光而心生鬱結，在去年便已去世。
本來長孫無忌和長孫無垢就已憤怒了，而且高士廉並未重視這個妹妹，非常勢利，他隻看重長孫無垢，就是長孫無忌也為重視，導致了長孫無忌發奮圖強，學會了忍耐，兄妹倆現在更是相依為命，生活儉樸。本以為李世民看到他們兄妹的困苦會生出救援之手，那知李世民卻直接無視。
原先對兄妹兩的態度尚可，可今年得悉李淵與嶺南宋家結盟，欲與宋家宋缺之女宋玉致結親，所以李世民想都不想就答應了，而且為了博得宋玉致的歡心，竟然疏離了兩兄妹，對長孫無垢更是冷淡了起來，而且為了表達他心中的意誌，竟然慫恿弟弟李元吉娶長孫無垢。
長孫無忌和長孫無垢怒了，本來長孫無忌和長孫無垢也知道事情已經沒有任何希望了，想帶著妹妹離開，卻被高士廉告知，他已經答應了修改昏藥，讓長孫無垢這個外甥女下嫁李元吉。
李元吉就是個紈絝，長孫無忌極力反對，後來高士廉又脅迫長孫無忌，說長孫無忌在在高家長大，若想還了恩情，必須答應下來，並且要求長孫無忌和長孫無垢培養李世民和李元吉出使嶺南宋家。
此時長孫無垢也出落得婷婷玉立，婀娜多姿，極是美麗，李世民雖然不甘心，但是宋玉致的美麗並不輸於長孫無垢，而且宋家底蘊比李家更有過之，李家若想爭霸天下，那宋家就是李家拉攏的對象。
李世民和李元吉未至山城便得悉嶺南宋缺敗於吳天之手，而且宋玉致更是公開和吳天私奔。李世民聽到這個的消息，更是晴天霹雷，把他雷的外焦裏嫩，差點暈倒。他可是抱著加大的信心而來，而且他分析吳天和宋家關係一定不會太好，而且吳天的性格定然會報複宋缺，宋缺把女兒嫁給他是鐵板釘釘的事。
長孫無忌看到李世民驚呆的目光，心中冷笑道：“還想攀附宋家，真是天大的笑話，太把李家當回事了。可惜宋缺遇到了一生最大的敵人吳天，漢國公想做的事就沒有做不到的。”
在他幼小的時候，其父長孫晟就給了他一分遺書，分析了當今天下形勢，並且告訴他，如果長孫家呆不下去就去江南，拿著另外一封信去投效漢國公吳天，並且斷言不出三十年，天下將屬於江南吳家。
長孫無忌同樣是個高傲的人，他不想利用父親的遺澤謀取自己今後的人生，他也想觀察吳天的做法。可以說北方很多人都被北方世家蒙蔽了雙眼，而他就看的非常清楚，因父親長孫晟的關係，所以長孫無忌一直都在關注吳天的一舉一動，而且吳家在江南的地位相當於皇帝，在百姓心目中地位從高無比，就像神一樣，隻是長孫無忌非常疑惑，為何吳天到現在都沒有起兵，好像非常維護隋室。