開元二十五年十二月，受寵的武惠妃憂懼而死。後宮美女四萬多人，沒有一個能讓唐玄宗滿意。玄宗經常鬱鬱寡歡，獨自發呆。高力士秘密出宮選美。然而，選來的美女沒有一個能比得上武惠妃。玄宗對武惠妃追思不已，十分寂寞。
開元二十八年（740年）十月，高力士向玄宗推薦壽王李瑁的王妃楊玉環，說她姿色出眾，風度堪稱冠絕一代，琴棋書畫無一不精。玄宗回想起兒媳的絕世姿容，也不顧及什麼禮義廉恥了，把楊玉環接到驪山溫泉宮幽會。
天寶四年（745年）八月初六，61歲的唐玄宗冊封楊玉環為貴妃。
楊玉環每次出巡，由高力士牽馬執鞭，宮廷內外爭先恐後地送禮，誰送得多誰就能當官。民間興起一首民謠：生男勿喜女勿悲，君令看女作門楣。
玄宗自從得到貴妃後，成天沉湎在酒色之中，把國家大政交給奸相李林甫、楊國忠。李、楊手握大權，為非作歹，敗亂朝綱，國家危機四伏。
天寶十一年（752年）三月，王捍、邢綽在長安起兵造反。高力士已經老邁，親自披掛上陣，率領禁軍平息了叛軍。
天寶十四年（755年）十月，鎮守範陽、平盧、河東三鎮的節度使安祿山，挑選精兵十五萬，掀起安史之亂的序幕。
叛軍攻打長安，百姓棄城而逃。唐玄宗帶著楊貴妃、楊國忠、高力士、太子李亨等親信和部分禁軍，逃出長安城。不久，長安淪陷。在西逃的路上，七十多歲的高力士日夜陪伴著玄宗。
唐玄宗一行來到馬嵬驛，禁軍兵變，誅殺楊國忠，要求處死楊貴妃。高力士擔心兵變演變成弑君慘劇，勸道："將士已殺國忠，而貴妃在陛下身邊，將士怎能放心！"玄宗長歎一聲，對高力士說："卿去辦吧！"
高力士把泣涕嗚咽的楊貴妃帶到佛堂前的梨樹旁，用羅巾勒死。楊貴妃由高力士發現，並牽線搭橋接入宮中，最後又死於高力士之手，應了"成也蕭何，敗也蕭何"那句古話。