李瑛是趙麗妃所生。唐玄宗李隆基於開元三年（715年）立李瑛為太子。武惠妃生了壽王瑁後，她無時無刻不在謀劃著如何廢掉太子李瑛。
太子李瑛母親失寵，鄂王李瑤的母親皇甫德儀、光王李琚的母親劉才人也失寵了。三位皇子境遇相同，他們經常在一起遊樂，言語間無不對武惠妃充滿仇恨。
三位皇子的不滿情緒逐漸傳到武惠妃那裏。武惠妃的女兒鹹宜公主，嫁給了駙馬楊洄。楊洄到處散布太子及二王要造反的謠言，武惠妃向唐玄宗哭訴："陛下，太子李瑛、鄂王瑤、光王琚要謀害臣妾，陛下要替臣妾作主呀......"
唐玄宗問張九齡道："太子與二王勾結，散布不滿言辭。朕要廢了他，愛卿有什麼意見？"
張九齡說："陛下，太子乃國家儲君，廢之則動搖民心。太子日受聖訓，眾望所歸，鄂、光二王很有才能，三人是陛下的洪福。陛下為什麼要一天棄三子呢？一定是後妃之言，陛下要慎重啊 ！"
唐玄宗問："愛卿，什麼是後妃之言？"
"陛下，春秋戰國時，晉獻公迷信妖姬的讒言，太子申生被害，晉國大亂；漢武帝聽信江充等人的讒言，長安喋血；晉惠帝聽信賈後的讒言，才有"八王之亂"；隋文帝隻因聽從皇後之言，廢了太子楊勇而立楊廣，隋朝亡國。今太子沒有大過，鄂、光二王又才德兼備。再說，父子之情深重似海，兒子有過錯，父親應該為其掩飾！臣請陛下定奪。"
唐玄宗恍然大悟，太子李瑛及鄂、光二王保住了地位，武惠妃的陰謀破產了。賢相張九齡被罷免後，武惠妃召集來太子李瑛、鄂王瑤、光王琚，對他們說："宮中有賊，請你們披甲進宮護衛！"
太子及二王率領數百名帶甲武士，手拿武器衝進內宮。武惠妃連忙派人通告唐玄宗。
"陛下，太子與二王率兵造反！"
玄宗派人前去查看，派去的人回來說："陛下，太子與二王正率數百武士衝進宮來！"
玄宗命令禦林軍將前去鎮壓，太子及二王被逮捕後，大喊："冤枉！我們要見父皇！"他們喊聲沒有引起玄宗的注意。
這時，奸相李林甫把持朝政。唐玄宗召來李林甫商議此事。
"林甫呀，朕要廢了太子及二王，你怎麼看？"
李林甫說："陛下自家之事，臣豈敢介入。"
唐玄宗見沒有大臣反對，將太子李瑛、鄂王瑤、光王琚貶為庶人，賜他們死，天下臣民為之痛心，稱他們為"三庶"。不久，武惠妃因夢見三人的冤魂，憂怖成疾，於十二月在驚嚇中死去。人們都說這是報應！武惠妃死後，李林甫失去了靠山。
天寶元年（742年），恒山湣王之孫李適之升為左相。
李適之經常與李林甫作對，李林甫對他恨之入骨。但唐玄宗對李適之很信任，使李林甫一籌莫展。
一天，李林甫向唐玄宗上奏："陛下，李適之性格粗疏，喜歡喝酒。身為左相，經常通宵狂飲，京師百姓多有議論，早晚會誤了朝廷大事。"
唐玄宗說："朕委之以大任，怎敢耽於杯盞，辜負朕的厚意！"
李林甫說："陛下，依臣所見，李適之不稱職，不如......"
唐玄宗說："廢立之事，等明天早朝再說吧！"
李林甫退了出去。但從此以後，唐玄宗疏遠了李適之，把政務都交給李林甫處理。