不幸的是，李白的這次慷慨從軍，自以為報國有門，建功有路，殊不知卻陷進了李亨與李璘兄弟鬩牆骨肉相殘的陷坑中不能自拔，反而成了犧牲品。肅宗李亨見永王李璘在江南擁軍口益增多，怕他將來勢力壯大後擁兵自電與之爭奪帝位，便下詔讓李璘去西蜀從太上皇，實際上是要他的兵權。李璘正在做著他的耀武揚威的美夢，哪願就此交出兵權，利令智昏地沒有與李白等幕僚們商議便抗旨不從。李亨聞知怒不可遏，便對其下了討伐令，宣布其軍為非法。
討伐軍的統帥不是別人，就是李白梁宋之遊的詩友高適。高適當初反對玄宗製置，將四個兒子分封四處統軍，因而取得了李亨的好感，近來官運亨通，由幕僚而步步升做大官。郡，會同江東節度使來瑱率本部兵會師於安州。這是至德元年十二月的事情而被蒙在鼓裏的李白，消息閉塞地還隱居在廬山沒有下來。真是一個大悲劇。
高適由詩人而成為武將，統帥大軍威風凜凜地來到安州駐節。他采取的是堡壘易從內部攻破的策略。派人秘密潛人永王軍中，遊說季廣琛、渾惟明、高仙琦三員大將，做分化瓦解工作。言明朝廷已將李璘定為叛逆，叫他們這些盲目附逆者認清形勢，迷途知返，便可既往不咎還可官複原職。這三員大將追隨李璘為的是平息安史之亂，為國立功，玉根兒就不願跟隨李璘在大敵嫋前時，同室操戈地打內戰，從而做親者痛，仇者快的事情；一聽說皇上下了討伐令，便如臨深淵如履薄冰般地改過自新，很快就歸順朝廷，引兵北去。
這中間也有一個人前來勸說李白，他就是李白的前妻許淑的堂兄許大郎。他在高適駐兵安陸時，自告奮勇在高適麵前清求這一使命。高適念在當年與李白的交情上，也想爭取李白歸來，便命許大郎成行。許大郎趾高氣揚地來到丹陽，在永王軍中一見李白便居高臨下，以救世主的姿態不客氣地指責李白從逆，犯了滔天大罪，叫李白迷途知返，改惡從善。李白聽後如同驚雷震耳，仔細一想後便冷靜下來：不相信大敵當前，皇上與兄弟會打內戰，那樣不就是叫親者痛，仇者快嗎？另外，他對許大郎當初強占許淑家產非常反感，至今記憶猶新，便也不客氣地回罵了許大郎，說他是無事生非，挑撥離間皇上與永王的骨肉情誼；當即向許大郎下了逐客令。這就給李白以後的從逆罪加一等，而沒有像季廣琛等反正的將領一樣脫了幹係。
永王的軍隊路過廣陵。太守閉城不納。李璘大怒，輕率地下令攻城，從而首先拉開了內戰的序幕。結果是攻城不下，損兵折將打了敗仗。接著，季廣琛等三員大將領兵反正北去，將士相繼逃亡的日益增多。李璘便成了孤家寡人。這時高適和來填的戰書又送到了李璘的丹陽軍中。李璘無法應戰，要投降，又怕他的皇兄饒不了他，驚惶失措中，帶領了幾個親信向東南逃奔；一路上東藏西躲，終於被江西采訪使皇甫侁捕殺於野地之中。
永王一跑，剩下的水師樓船群龍無首，在北軍的圍攻與勸降下，很快就土崩瓦解。
覆巢之下，焉有完卵？李白無路可走，也趁夜色的掩護，隨韋子春等幕僚一起步行向南逃奔。逃跑的人步履蹣跚，越跑越少，到天明時隻剩下李白一個人。他坐在一棵大樹下稍作喘息，四顧無人，不覺悲從中來，眼含熱淚悔恨自己不該不聽宗氏夫人之勸盲目下山，才落得如今像個喪家犬一樣遭受追捕無處投奔。這時，身體發冷，腹中饑餓，一種強烈的思家感使他轉而向西，強撐著向廬山方向走去。
—路上的重重關隘，都有朝廷土兵設關安卡，盤查和提拿從逆人員。李白心想，我的《永王東巡歌》和其他詩歌一樣，早已流傳久遠，誰都知道永王上清我下山犯了從逆之罪。樹大招風，要跑是無處跑的。大丈夫做事從來就足光明磊落。我從璘的目的是為了掃除安賊，入幕不到兩個月的時間，除了寫詩，又沒有做過什麼見不得人的壞事，怕什麼呢？蒼天可鑒嘛，想到此，李白便鼓足勇氣，走向前麵一道關卡，麵對執戈的士兵說：在下是李白，是你們要捉之人。你們看著辦吧！
李白被送進了潯陽獄中，以從逆罪等待著朝廷的發落。
小小的囚室內隻有一隻小床，一床破被，一堆稻草。室內黑暗潮濕。南牆上有巴掌大一個窗欞，透進一線陽光。每天，隻有晚飯後的一段時間，可以走出牢門到院子裏放放風，看一看藍天白雲，舒一舒筋骨。一個好動不好靜的人，從此失去了人身自由，好像一隻籠中的鳥兒一樣，其內心的痛苦是可想而知的。