安史之亂爆發後，安祿山的叛軍相繼攻下洛陽、長安。玄宗逃亡，來到馬嵬驛時，禁軍發生兵變，誅殺楊貴妃家族。玄宗逃到成都，命太子李亨主持軍國大事。李亨逃到靈武，登基稱帝，即唐肅宗，玄宗淪為太上皇。
肅宗身邊他文武大臣不足三十，沒有匡時濟世之才。肅宗想起李泌是個人才，傳召李泌。不久，名將郭子儀率兵五萬前來護駕。李泌和郭子儀親密合作，成為肅宗的左膀右臂。
肅宗命李泌為右相，李泌拒絕了，願以賓客相待，肅宗隻好同意。肅宗與李泌出則並馬而行，入則同室而眠。肅宗事無臣細都征詢李泌的意見，李泌成為軍政的決策人。
在李泌的力諫下，太子廣平王升為大元帥，率諸將征討安祿山。肅宗命李泌隨軍同行，賜紫袍一件。李泌對肅宗說："安祿山把掠奪的美女財寶，都運回範陽（北京大興縣），叛軍沒有奪天下的大誌，隻知道燒殺搶掠，真心追隨安祿山反叛的隻有史思明、安守忠、田乾真、張忠誌、阿史那承慶等人，其他人是被迫的。"
李肅為唐肅宗製定平定叛軍的戰略計劃。
第一，命李光弼從太原入井隆，郭子儀從馮翊入河東，使史思明、張忠誌無法離開範陽、常山，安守忠、田乾忠無法離開長安，使洛陽隻剩阿史那承慶和安祿山。使叛軍在範陽至長安幾千裏的戰線上，疲於奔命。唐軍以逸待勞，拖垮叛軍。
第二，命建寧王李俊為範陽節度使，率軍攻打範陽之北，命李光弼攻打範陽之南，使叛軍進退兩難。再命大軍圍攻，一舉殲滅。由於這個戰略計劃是可行的，唐軍不斷地戰勝叛軍，已經對叛軍形成了圍殲之勢。
757年，安祿山被兒子安慶緒謀害，史思明堅守範陽不聽安慶緒的命令。這對實施李泌的戰略計劃更加有利。李泌主張派安西、西域兵馬攻打範陽，肅宗堅決反對。肅宗又把郭子儀從河東前線調回鳳翔，率軍攻打長安。由於戰略上的嚴重錯誤，唐軍的兵力嚴重分散，接連戰敗。
757年九月，無奈之下，郭子儀請求借用回紇兵，肅宗同意，回紇出動精兵四千來到鳳翔。肅宗向回紇許諾，一旦攻下長安，土地、士庶歸大唐，金帛、子女歸回紇。這時，李泌已經被肅宗拋棄了。唐軍、回紇、西域十五萬大軍，自鳳翔出發，攻入長安。叛將安守忠、田乾真率軍逃出潼關，不久，郭子儀率唐軍攻下洛陽。
唐軍收複了洛陽和長安，但叛軍卻逃脫了。安慶緒逃到了河北，堅守鄴郡，統兵六萬。肅宗命郭子儀、李光弼攻打鄴郡。官軍和叛軍在鄴城交戰，史思明從範陽出兵十三萬，援助安慶緒，康軍慘敗。不久，史思明殺害安慶緒，登基稱帝，國號大燕。叛軍的死灰複燃，使肅宗感到十分苦惱，悔不采納李泌的戰略計劃。
肅宗忙派人傳召李泌，李泌卻要求歸隱，說："陛下不讓臣歸隱，早晚會害死臣的！"肅宗說："我與你患難多年，現在正是享受榮華富貴之際，你怎麼卻走了呢？"由於李泌堅持歸隱，肅宗隻好同意了。
757年十月，李泌來到衡山隱居，肅宗命當地官府為李泌建造高宅，按三品俸祿給予照顧。李泌離開朝延其實是為了躲避殺身之禍，他正受到權臣崔圓、宦官李輔國的謀害。
762年，肅宗逝世。廣平王李豫繼位，即為代宗。768年，代宗召李泌來京，李泌欣然前往。代宗賜李泌金印紫綬，軍國大事均向李泌詢問。代宗要拜李泌為宰相，李泌為了免遭打擊，堅決不受。李泌不食酒肉、不聚妻，以道士自居。
代宗命他做俗人，吃酒肉、娶妻生子，李泌不肯接受。後來，代宗強迫李泌娶妻，引起了宰相元載的嫉恨。770年，元載除掉宦官魚朝恩，弄權舞弊，為非作歹，並誣陷李泌與魚朝恩是同黨。
代宗不相信，元載及其他大臣繼續誣陷李泌。代宗對元載十分反感，對李泌說："你先離開京城，等我除掉元載後，再請你回來。"不久，代宗貶李泌為江西判官。
777年，代宗突然處死元載，抄了元載的家，僅胡椒就多達八百石，可見是個大貪官。代宗召李泌進京。
代宗說：."好不容易才除掉元載。"
元載死後，李泌的才能又被宰相常袞嫉恨。常袞要求代宗命李泌擔任州刺史，使李泌懂得民間疾苦，然後再來朝廷當官。後來，灃州刺史出缺，代宗命李泌為刺史，後改任杭州刺史，政績卓著。