李泌在朝，盡心輔助肅宗，平定天下；守複兩京，迎回上皇。待上皇去世，肅宗內寵張良娣，外溺李輔國；李泌知不可留，一日肅宗留李泌在宮中宴飲，同榻寢宿。泌乘間求退，略謂：“臣已略報聖恩，今請許作閑人。”
肅宗道：“朕與先生同患難，當與先生共安樂，奈何思去耶？”
李泌答道：“臣有五不可留：臣遇陛下太早；陛下任臣太重；寵臣太深；臣功太高；跡亦大奇；有此五忌，是以不複可留也。”
肅宗見李泌說話甚是堅決，心中卻甚是舍不得；但卻也是無法挽留，隻是默然不語，忍不住流下淚來。李泌見肅宗如此情重，心中十分感動，忙爬下地去叩著頭道：“陛下天高地厚之恩，臣終身不言去矣！”
肅宗上去，把李泌扶起，君臣二人，握住手大笑。從此李泌又早晚在宮中。
肅宗在東宮的時候，常被李林甫欺壓，便是吳妃，也因害怕林甫的威權，憂懼而死。如今肅宗登位，李林甫雖已死多年，但皇帝一口怨恨之氣，終不曾出得。便欲去掘開李林甫的墳墓，燒他的屍骨。李泌勸道：“陛下身為天子而不忘宿怨，未免示人以不廣。”
肅宗滿麵怒色道：“李林甫之往事，卿豈敢忘之耶？”
李泌答道：“臣意不在此，上皇有天下五十年，壽數已高；一旦失意，南方氣候惡，且春秋高，聞陛下修舊怨，將內慚不樂，萬一有所傷感，因而成疾，是陛下以天下之廣，不能安親也。”
肅宗恍然大悟，去抱住李泌的頸子，淚如雨下，連連說道：“朕不如卿也！”
此時史思明擾亂東南，其勢甚大，肅宗甚是憂慮。問李泌：“何日能盡滅賊寇？”
李泌對道：“賊掠得金帛子女，盡送至範陽，是有苟得之心，豈能取中國耶！唐人為所用者，皆脅製偷合；至天下大計，非所知也。臣意不出二年，盡滅寇矣！陛下無欲速。夫王者之師，當務萬全，圖久安，使無後患。今當下詔，使李光弼守太原，出井陘，郭子儀取馮翊，入河東，則史思明、張忠誌不敢離範陽常山，安守忠、田乾真不不敢離長安，是以三地禁其四將也。使子儀毋取華令，賊得通關中，則北守範陽，西救長安，奔命數千裏，其精卒勁騎，不逾年而斃。我常以逸待勞，來避其鋒，去翦其疲；以所征之兵，會扶風與太原朔方軍互係之；徐命建寧王為範陽節度大使，北並塞與光弼相掎角以取範陽。賊失巢窟，當死河南諸將手。”
肅宗便依著李泌的計策行去，果然步步得手。
後來收複兩京，肅宗意欲退回東宮，還政上皇，以盡子道。
李泌又勸道：“陛下必欲還政，則上皇不來矣！人臣尚七十而欲傳，況欲勞上皇以天下事乎？”
肅宗問道：“然而如何可以兩全？”
李泌奏道：“臣自有辦法。”
便退出宮去，與群臣擬就皇帝奏上皇一稿，言天子思戀上皇，欲盡人子定省之義，請上皇速返駕以就孝養。太上皇初得奏，便答諭道：“與我劍南一道，自奉以終，不複東矣！”
肅宗見諭，甚是憂慮。李泌又為再三上奏，太上皇始大喜，對高力士道：“我今方得為天子父。”
便回鑾至大內，李泌時時勸肅宗須孝養上皇。
但是朝中有了這位李泌，使肅宗言聽計從，使李輔國這班奸臣，心中老大的不快活。他們打聽得肅宗皇帝是寵愛張良娣的，便拿了許多金銀財帛去孝敬著良娣，又在背地裏極力說李泌的壞話。良娣要立自己的兒子做太子，時時在肅宗皇帝耳根邊絮聒。肅宗此時因寵愛張良娣，一變而為懼怕張良娣了。他不敢說自己不許，隻推說是李泌一班大臣，甚是忠心於現在的太子。現在的太子在外麵，頗立了戰功，若無故廢立太子，怕大臣們要不答應的。
張良娣聽了這個話，把一肚子怨氣，齊噴在李泌身上，便私地裏勾結了在朝的一班奸臣，日夜以攻擊李泌為事；並且派刺客，在半夜裏闖進李泌的臥室中去行刺。恰巧被李泌府中的差弁捉住了，審問出來，知是李輔國派遣來的刺客。當時朝廷中有一班忠義大臣，都替李泌抱不平，要去奏明皇上；隻是李泌不肯，說：“此事還關礙著張良娣，俺們也得投鼠忌器，把這件事兒無形消滅了吧。”
李泌便一麵上奏章告老還鄉，一任肅宗皇帝再三挽留，李泌隻是求願歸隱衡山；肅宗皇帝沒奈何，隻有下詔給李泌三品祿，賜隱土服，又發內帑三萬，替李泌去在衡山上建造園廬。李泌住在衡山，在屋子四周遍種著鬆樹、櫻樹，把他屋子題名“養和草堂”。在衡山腳下，覓得一株如龍形的鬆樹，便使人送進京去，獻與肅宗。
李輔國見李泌能識趣告退，便漸漸地大權獨攬起來的。這時，肅宗又立張良娣為張皇後，張皇後仗著皇帝寵愛，又因與皇帝患難相從，覷著皇帝身弱多病，懶問朝政，她便在深宮中替皇帝代管國家大事，起初還是和皇上商量著行去，後來慢慢地獨斷獨行。肅宗一身多病，也懶得管事，一任皇後胡作妄為去。
這張皇後大權在握，便勾通了丞相李輔國，竟招權納賄地大弄起來。李輔國本是一個太監出身，因此隻有他一個人能自由在宮中出入；見了肅宗皇帝，又故意做出那副小心謹慎的模樣來。他見皇帝信佛，便也信佛，在宮中西苑地方，設著一個小佛堂，朝夕膜拜著；又終身不吃葷，見有殺害牲口的，他便做出那種不忍看的樣子來。肅宗皇帝拍著李輔國的肩頭，說道：“此是天下第一善人！”
因此李輔國在背地裏所做陰險狠毒的事體，都被他瞞過。
肅宗皇帝因多病，身弱，常在內宮坐臥；一班大臣，欲見天子的，須先孝敬李輔國些財帛，才得傳見。當時有京兆尹元擢，應詔入宮，便備得闐州溫玉雕成的美人一座，拿去孝敬李輔國。這溫玉原是稀世之寶，任是大寒天氣，那玉總是溫暖的；若得人早晚摩弄，或是抱著渥在被中，真是和人的肌膚一般溫暖。今拿它雕成美人兒模樣，天姿國色，可稱雙絕。
李輔國得了，也是十分歡喜，便替他在皇帝麵前說著好話，從此元擢和李輔國二人，做了知己；元擢在家中備著盛大的酒筵，獨請李輔國赴席。元擢養著一班伎女，便傳喚在當筵歌舞侑酒，把個李輔國樂得手舞足蹈，忘了形骸。他雖是經過閹割了的一個太監，但也不能忘情於人欲。久聞得元擢的女兒，是一個絕世容貌，他便仗著自己的勢力，對元擢說道：“俺們通家至好，豈不可以出妻見子？”