太宗李世民後來還曾對武則天說，武士彠病重時，他曾派醫官前往診治，因故受阻而返。足見他是很在乎這位忠臣的。為了褒揚先進，太宗過問了武士彠的喪事，雖然沒有恩賜陪葬郿縣高祖的獻陵，但追贈了禮部尚書，命地方官府主辦喪事，歸葬文水。還命並州大都督、英國公李監護下葬事宜。
這個待遇，雖不十分隆寵，但也還算榮光，跟武士彠生前的地位差不多。
自己的男人撒手而去，楊氏就這樣成了寡婦。然而，武士彠墳上的土還沒有幹，元慶、元爽二人便糾集武士族人聯合排擠楊氏母女。萬般無奈之下，新寡的楊氏夫人隻好帶著三個女兒扶柩回到了並州老家。武士彠安葬後，楊氏率女兒在文水武氏舊宅棲身，緇衣素食，誦經念佛，為亡夫守孝。
跟隨母親回到並州後，武則天原來熟悉的那個簡單的核心家庭一下子變成了鉤心鬥角的聯合家庭。父親死後，家裏原來潛藏的各種矛盾一下子爆發出來。楊氏來武家之後，隻生了三個女兒，其實是無所謂爭奪爵位的。
武士彠娶楊氏的目的很明確，就是抬高自己的門戶地位，以婚姻和仕途作為家族立門戶的手段。武士彠的前妻相裏氏，和士稜、士讓、士逸的妻室，均娶於武氏家族發跡之前，她們的出身，大概也就是晉陽土著之類，根本無法和楊氏相比。
楊氏下嫁到武家之後，自然帶來相當的優越感和逼人而來的氣焰，在武氏子弟看來，這種優越感是他們無法容忍的。但在武士彠活著的時候，武氏兄弟即使有再多不滿，也是有所克製的。
武士彠與前妻生的兩個兒子武元慶和武元爽以及他們的堂兄弟武惟良、武懷運，對楊氏和她的三個女兒非常不客氣。因為三個小姑娘還都沒出嫁，按照唐朝的習慣，女兒出嫁時是要分割財產的。武元慶和武元爽一想到這兒，便對三個妹妹心生厭惡。
從另外一個角度說，武氏是個大家族。一般來講，在中國古代，族人在處理這種家庭矛盾時，通常是向男不向女。男孩算是自家人，傳香火，振家業，是男人的事；而女孩子遲早是嫁出去的人，潑出去的水，是別人家的事。
武氏族人對楊夫人母女百般挑剔，特別是兩個堂哥，一個叫作武惟良，一個叫作武懷運，對楊氏母女的態度極其惡劣。他們的目的隻有一個，讓孤兒寡母趕緊卷鋪蓋走人。
武士彠的離世，讓楊氏母女陷入生活的窘境。武則天從養尊處優的高幹子女一下子淪落為任人欺淩的弱勢女子，這讓少年時代的她充滿了怨恨，而這種怨恨像毒草的種子一樣播散於內心，一旦條件合適，便會破土而出。
武則天和母親楊氏並沒有分得多少家產，她們隻得忍氣吞聲寄居在兄長武元慶的屋簷下。不久，武則天的大姐不堪兄長的欺侮就早早地嫁人了。大姐嫁給了越王府曹賀蘭越石，不免讓人想起袁天罡當年的那句話，此女將來不利其夫。
如果這個賀蘭越石要是知道袁大師曾經說過這麼一句狠話，估計就是給他倒貼錢他也不願意做武則天的姐夫。大姐嫁人後，武則天和母親楊氏便前往京城投靠親戚。
武士彠之死給予楊氏以沉重的打擊，置身於如此險惡的家庭環境之中，她連掙紮都是多餘的。這時候的她已經年近六旬，她與武士彠的婚姻是高祖皇帝一手撮合的，再嫁已無可能。她就這樣被命運拋入到絕望的處境當中，在生與死之間遊蕩徘徊。
於是她轉向佛門，心揭寶偈，手寫金言。她甚至想過，在武士彠的墓旁，結一佛廬，了卻殘生。隻是因為對女兒的愛，才讓她最終放棄了這種想法。
武則天後來信佛，受母親楊氏的影響最多。家族內部的矛盾錘煉了武則天的性格，在她的血液中，有兩種成分，略微沉澱下去的庶族血液的成分與高貴的士族血液的成分。從這個意義上，武則天算兩種不同階層的混血兒，這也就注定了她要比一些身份純粹的人思想更為複雜。其中忍辱負重的性格是在後天的環境裏形成的，逆境並沒有將她打倒。