左右聽了，無不大嘩。唐太宗聽了則大吃一驚。他還從來沒想到，這樣一個嫵媚的女子，性格卻如此剛強，手腕又如此殘忍。
對宮中生活充滿著美好憧憬的武才人雖然剛入宮時，以她那超群的嫵媚贏得了唐太宗一時的喜愛，十分寵愛，但事過不久，武才人很快就失寵了，而且一直到太宗駕崩之時，她很少甚至未被親幸過。因為初入宮時的武才人正值豆蔻年華，後來又是青春鼎盛，唐太宗也剛剛是不惑之年，雙方都有較強的生育能力，但武才人既未生子女，也未曾懷過孕。盡管唐太宗子女成群，史書明文記載了他一生共有三十五個子女，其中有十四個王子，二十一個公主，但卻沒有一個是武才人所生。這一事實就足以說明，武才人很快就遭到太宗冷遇及失寵的情況。另一方麵，武才人在宮中生活了長達十三年之久，但一直在才人的官位上徘徊不前，這也是她失寵的證據。
至於武才人如此之快地失寵，並終太宗之世一直被打入冷宮的原因，未見記載，因此人們做了種種推測：一種可能是由於唐太宗本人是一個剛強英武的男子，戎馬一生，其時已天下大治，他需要溫暖、安逸、舒適的環境，喜歡像長孫皇後那樣溫順賢惠的淑女，不喜歡如武才人那樣剛強如男子漢性格的女人。尤其是他聽了武才人馴服烈馬的事，知道她雖然長得姿態嫵媚，楚楚動人，但心狠手辣，很不投合唐太宗的心意，因此就很快失寵了。
另一種可能是，在唐太宗身邊的眾妃嬪中，有的因出身於名門望族，官宦世家；有的因才貌出眾，善於迎合太宗的心意。武才人出身寒門，其父武士彠雖然做到三品官，卻已離開人世，她孤兒寡母，在外朝中得不到大臣的幫助，在後宮爭風邀寵的情場上也勢單力孤，自然難與太宗的妃嬪比試高低了。早在十幾年前納入後宮中，被立為婕妤的弟媳楊氏依然受寵，長孫皇後去世後，還曾一度欲將她立為皇後，因魏征勸說而止，可見他對楊妃寵愛之深。另外還有賢妃徐惠。徐賢妃自幼聰穎過人，出生五個月能說話，四歲時即能讀《論語》與《詩經》，八歲即能寫文章。有一次，其父徐孝德曾讓她擬《離騷》作《小山篇》，她略加思索，即作文日：
仰幽岩而流盼，撫桂枝以凝思
將千齡兮此遇，荃何為兮獨往？
徐孝德大為驚異，於是所著廣為流傳。唐太宗聞其才華，召入宮中立為才人。人宮後，徐才人仍是“手未嚐廢卷，而辭致贍蔚，文無淹思”。太宗益發寵愛，過了幾年即升為充容，由正五品躍為正二品，後來又升為賢妃，位至正一品。徐賢妃出生於公元627年，比武才人小四歲，才華出眾，是武才人難以相比的。
天有不測風雲，人有旦夕禍福。
如果說武才人在後宮爭風邀寵的鬥爭中失敗，因而被打入冷宮的話，那麼貞觀末年民間流傳的一紙《秘記》又使武才人再遇劫難，幾乎遭滅頂之災。
唐太宗一天天老去，身體也每況愈下，正為李唐的千秋帝業而處心積慮。恰巧在這時候，太白星經常在白天出現。星相家認為，太白星主殺伐，故詩文中多用比喻兵戎之事。大詩人李白在其《無胡人》一詩中曾寫道：
雲龍鳳虎盡交回，太白入月敵可摧。
太白星出現是凶兆，於是太史官馬上向太宗奏說：“女主當昌。”太宗聞奏，心裏很是緊張。
無獨有偶。這時民間又流傳著一本《秘記》，其中說：“唐三世之後，女主武王代有天下。”這一《秘記》的傳聞，似乎驗證了太史官所奏，而且還更加具體明確，這使得已經神經緊張的唐太宗更加坐立不安。他要千方百計地除去這一“女主武王”，以阻止父子兩代開創的大唐帝業落入他人之手。
公元648年八月七日，唐太宗在宮中舉行盛大宴會，與一些將軍歡飲。宴會上。觥觴交錯，一時酒酣耳熱。為了增加飲酒的樂趣，開始行酒令。這次行酒令，唐太宗別出心裁，讓諸將各自說出自己的小名。左武衛將軍、武連縣公、武安人李君羨宿衛玄武門，也參加了宴會，當輪到他報小名時，說自己叫“五娘”。諸將軍聽到李將軍竟叫了一個女人的名字，不禁哈哈大笑。唐太宗把“五”字聽成了“武”寧，也笑著說：“什麼女子，乃如此壯健！”
唐太宗雖然表麵上很快活，但一想到“女主武王”，心裏又起了疑慮。他聽說李君羨的官職是左武衛將軍，封爵是武連縣公，原籍又是武安縣，其中有好幾個“武”字，再加上他的小名叫“五（武）娘”，莫非“女主武王”就是李君羨？玄武門又是皇宮北麵的要衝之地。讓他掌宿衛不是很危險嗎？於是宴會剛一結束，唐太宗即突然把他調到華州任刺史，並令即刻走馬上任。