基於這種情況，肅宗打算放掉李白先生，可是遭到了中書令兼元帥府行軍司馬又目前還兼任皇家內務大總管李輔國的強烈反對：“陛下，李白不可留，要殺掉啊？”
“為何要殺掉一個手無寸鐵的詩人？”
李輔國說道：“陛下，李太白這樣的迂腐文人，滿身都是酸氣，滿口都是詩曰子雲，之乎者也，文不能安邦，武不能定國，優柔寡斷，連太上皇就被他影響了，才落得這樣的結果。這是其一；其二，李白先生這樣的文人根本瞧不起朝廷的官員，瞧不起不識字的人，陛下想想，過去太上皇讓他寫詩，他卻要高公公給他脫靴子，楊貴妃磨墨，你說這樣的文人狂妄到何等地步？其三，李白貪酒，喝了酒就亂發議論，汙蔑朝廷。這樣的文人不殺還殺什麼人？陛下要殺掉他，等於殺掉了天下文人的傲氣，殺一儆百，給他們看看，你們這些詩人誰要是狂妄自大，李白的下場就是榜樣。”
肅宗道：“可是要是朕殺了他，殺了影響整個大唐文化的詩人，朕不是成了千古罪人嗎？”
“陛下，這事不難，讓刑部認真審問他的罪行，定他個附逆大罪，那就堵住了天下人之口。”
於是肅宗下旨，令刑部仔細審問李白的罪行，最好要定他個死罪。
李白的個性本來就倔強，下獄後，在獄中大罵刑部官員，一些崇拜李白的文人雅士有心救援李白，卻無從下手。
卻說靈武城裏有一個讀書人叫李根，官居禮部侍郎，因為從小就崇拜大詩人李白，就索性改名李長庚，發誓要效法李太白先生，將來做個大詩人，當他聽說李白先生來到靈武後被關押起來，就積極聯絡各方人士，要救李白。經過他的努力，打聽到李白的第四個妻子已經來到靈武，於是邀請一班有識之士來到李白的妻子家裏，想辦法營救李白。
說起李白的妻子，筆者在這裏要多囉嗦幾句。李白一生娶了四個妻子。
第一個妻子，是公元727年在湖北襄陽經過朋友孟浩然的撮合，娶了前宰相許圉師的孫女，其實也談不上娶，就是當了個倒插門女婿。由於在婚後長達十年的時間裏，李白都生活在他老丈人家裏，寄人籬下的滋味本來就使他非常的鬱悶了，哪兒還有心思去琢磨其他的事情。這是李白的第一次婚姻，可能他還是抱著很負責的心態去對待的，並且從婚後得育一男一女兩子這個情況來看，雙方的婚姻生活還是十分和諧的。其子名叫伯禽，（小字明月奴）；女名平陽。許氏於公元738年去世。
第二個妻子，公元739年，也就是在距第一次結婚12年、距第一任妻子去世一年之後，李白娶了一個姓劉的女人。不久，因為劉氏有些看不起李白，李白憤而離開。
第三個妻子，公元745年，李白在山東任城，與一當地婦人結婚。這時候的李白剛從首都長安出來，背著一大布袋金銀財寶和杜甫、高適一路取道河南商丘，並在此逗留很久。與他二人分手之後，李白自己前往泰山，路過任城，他結識了這位婦人，兩人情投意合。李白的這個老婆為他生了一個兒子，並且李白在山東兗州置下了大批田產，在此後他雲遊在外的生活中，這些田產就交給了妻子。可見，李白對該妻子十分信任，可惜的是這個妻子在他們結婚五年後，不幸亡故。