高力士深恨脫靴之事，無可奈何。一日，貴妃重吟前所製《清平調》三首，倚欄歎羨。高力士見四下無人，乘間奏道：“奴婢初意娘娘聞李白此詞，怨入骨髓，何反拳拳如是？”貴妃道：“有何可怨？”力士奏道：“‘可憐飛燕倚新妝’，那飛燕姓趙，乃西漢成帝之後。則今畫圖中，畫著一個武士，手托金盤，盤中有一女子，舉袖而舞，那個便是趙飛燕。生得腰肢細軟，行步輕盈，若人手執花枝顫顫然，成帝龐幸無比。誰知飛燕私與燕赤鳳相通，匿於複壁之中。成帝入宮，聞壁衣內有人咳嗽聲，搜得赤鳳殺之。欲廢趙後，賴其妹合德力救而止，遂終身不入正宮。今日李白以飛燕比娘娘，此乃謗毀之語，娘娘何不熟思？”原來貴妃那時以胡人安祿山為養子，出入宮禁，與之私通，滿宮皆知，隻瞞得玄宗一人。高力士說飛燕一事，正刺其心。貴妃於是心下開恨，每於天子前說李白輕狂使酒，無人臣之禮。天子見貴妃不樂李白，遂不召他內宴，亦不留宿殿中。李白情知被高力士中傷，天子存疏遠之意，屢次告辭求去，天子不允。乃益縱酒自廢，與賀知章、李適之、汝陽王璡、崔宗之、蘇晉、張旭、焦遂為酒友，時人呼為“飲中八仙”。
卻說玄宗天子心下實是愛重李白，隻為宮中不甚相得，所以疏了些兒。見李白屢次乞歸，無心戀闕，乃向李白道：“卿雅誌高蹈，許卿暫還，不日再來相召。但卿有大功於朕，豈可白手還山？卿有所需，朕當一一給與。”李白奏道：“臣一無所需，但得杖頭有錢，日沾一醉足矣。”天子乃賜金牌一麵，牌上禦書：
敕賜李白為天下無憂學士，逍遙落托秀才，逢坊吃酒，遇庫支錢，府給千貫，縣給五百貫。文武官員軍民人等，有失敬者，以違詔論。
又賜黃金千兩，錦袍玉帶，金鞍龍馬，從者二十人。白叩頭謝恩。天子又賜金花二朵，禦酒三杯，於駕前上馬出朝。百官俱給假，攜酒送行，自長安街直接到十裏長亭，樽罍不絕。隻有楊太師、高太尉二人開恨不送。內中惟賀內翰等酒友七人，直送至百裏之外，流連三日而別。李白集中有《還山別金門知己》詩，略雲：
恭承丹鳳詔，欻起煙蘿中。一朝去金馬，飄落成飛蓬。
閑來東武吟，曲盡情未終。書此謝知己，扁舟尋釣翁。
李白錦衣紗帽，上馬登程，一路隻稱錦衣公子。果然逢坊飲酒，遇庫支錢。不一日，回至綿（錦）州，與許氏夫人相見。官府聞李學士回家，都來拜賀，無日不醉。日往月來，不覺半載。一日，白對許氏說，要出外遊玩山水。打扮做秀才模樣，身邊藏了禦賜金牌，帶了一個小仆，騎一健驢，任意而行。府縣酒資，照牌供給。忽一日，行到華陰界上，聽得人言華陰縣知縣貪財害民，李白生計，要去治他。來到縣前，令小仆退去，獨自倒騎著驢子，於縣門首連打三回。那知縣在廳上取問公事，觀見了，連聲：“可惡，可惡！怎敢調戲父母官！”速令公吏人等拿至廳前取問。李白微微詐醉，連問不答。知縣令獄卒押入牢中，待他酒醒，著他好生供狀，來日決斷。獄卒將李白領入牢中，見了獄官，掀髯長笑。獄官道：“想此人是風顛的？”李白道：“也不風，也不顛。”獄官道：“既不風顛，好生供狀。你是何人？為何到此騎驢，搪突縣主？”李白道：“要我供狀，取紙筆來。”獄卒將紙筆置於案上，李白扯獄官在一邊說道：“讓開一步待我寫。”獄官笑道：“且看這風漢寫出甚麼來！”李白寫道：
供狀綿（錦）州人，姓李單名白。弱冠廣文章，揮毫神鬼泣。長安列八仙，竹溪稱六逸。曾草嚇蠻書，聲名播絕域。玉輦每趨陪，金鑾為寢室。啜羹禦手調，流涎禦袍拭。高太尉脫靴，楊太師磨墨。天子殿前尚容乘馬行，華陰縣裏不許我騎驢入？請驗金牌，便知來曆。
寫畢，遞與獄官看了，獄官唬得魂驚魄散，低頭下拜道：“學士老爺，可憐小人蒙官發遣，身不由己，萬望海涵赦罪！”李白道：“不幹你事，隻要你對知縣說，我奉金牌聖旨而來，所得何罪，拘我在此？”獄官拜謝了，即忙將供狀呈與知縣，並述有金牌聖旨。知縣此時如小兒初聞霹靂，無孔可鑽，隻得同獄官到牢中參見李學士，叩頭哀告道：“小官有眼不識泰山，一時冒犯，乞賜憐憫！”在職諸官，聞知此事，都來拜求，請學士到廳上正麵坐下，眾官庭參已畢。李白取出金牌，與眾官看，牌上寫道：“學士所到，文武官員軍民人等，有不敬者，以違詔論。”——“汝等當得何罪？”眾官看罷聖旨，一齊低頭禮拜：“我等都該萬死。”李白見眾官苦苦哀求，笑道：“你等受國家爵祿，如何又去貪財害民？如若改過前非，方免汝罪。”眾官聽說，人人拱手，個個遵依，不敢再犯。就在廳上大排筵宴，管待學士飲酒三日方散。自是知縣洗心滌慮，遂為良牧。此事聞於他郡，都猜道朝廷差李學士出外私行觀風考政，無不化貪為廉，化殘為善。
李白遍曆趙、魏、燕、晉、齊、梁、吳、楚，無不流連山水，極詩酒之趣。後因安祿山反叛，明皇車駕幸蜀，誅國忠於軍中，縊貴妃於佛寺。白避亂隱於廬山，永王璘時為東南節度使，陰有乘機自立之誌，聞白大才，強逼下山，欲授偽職，李白不從，拘留於幕府。未幾，肅宗即位於靈武，拜郭子儀為天下兵馬大元帥，克複兩京。有人告永王璘謀叛，肅宗即遣子儀移兵討之。永王兵敗，李白方得脫身，逃至潯陽江口，被守江把總擒拿，把做叛黨，解到郭元帥軍前。子儀見是李學士，即喝退軍士，親解其縛，置於上位，納頭便拜，道：“昔日長安東市，若非恩人相救，焉有今日？”即命治酒壓驚，連夜修本，奏上天子，為李白辨冤，且追敘其嚇蠻書之功，薦其才可以大用。此乃施恩而得報也。
時楊國忠已死，高力士亦遠貶他方，玄宗皇帝自蜀迎歸，為太上皇，亦對肅宗稱李白奇才。肅宗乃征白為左拾遺。白歎宦海沉迷，不得逍遙自在，辭而不受。別了郭子儀，遂泛舟遊洞庭嶽陽，再過金陵，泊舟於采石江邊。是夜，月明如晝。李白在江頭暢飲，忽聞天際樂聲嘹亮，漸近舟次，舟人都不聞，隻有李白聽得。忽然江中風浪大作，有鯨魚數丈，奮鬣而起，仙童二人，手持旌節，到李白麵前，口稱：“上帝奉迎星主還位。”舟人都驚倒。須臾蘇醒，隻見李學士坐於鯨背，音樂前導，騰空而去。明日將此事告於當塗縣令李陽冰，陽冰具表奏聞，天子敕建李謫仙祠於采石山上，春秋二祭。
到宋太平興國年間，有書生於月夜渡采石江，見錦帆西來，船頭上有白牌一麵，寫“詩伯”二字。書生遂朗吟二句道：
誰人江上稱詩伯？錦繡文章借一觀！
舟中有人和雲：
夜靜不堪題絕句，恐驚星鬥落江寒。
書生大驚，正欲傍舟相訪，那船泊於采石之下。舟中人紫衣紗帽，飄然若仙，徑投李謫仙祠中。書生隨後求之祠中，並無人跡，方知和詩者即李白也。至今人稱“酒仙”、“詩伯”，皆推李白為第一雲。
嚇蠻書草見天才，天子調羹親賜來。
一自騎鯨天上去，江流采石有餘哀。
（《警世通言》卷九）