未幾，同平章事。與蕭蒿、裴光庭同執大政十餘年，號賢相。同列誣與邊將交結，下製獄，府吏引徒至門急收。英惶駭不測，謂妻曰：“吾家山東，有良田五頃，足禦寒餒。所苦求祿而及此。今思衣褐乘駒，行邯鄲道中，不可得也！”引刀自刎。妻救之，獲免。中官保之，減罪死，投灌州數年。帝知冤，複追為中書令，封燕國公。生五子，皆有才器。長儉，為考功員外。次僔，侍禦史。次位，為太常丞。次倜，萬年尉。次倚最賢，為左袞。其姻媾皆天下望族。有孫十餘人，徊翔台閣五十餘年，崇盛赫奕。惟頗奢蕩，後庭聲色，皆第一綺麗。前後賜良田甲第、佳人名馬，不可勝數。年漸衰邁，屢乞骸骨，不許。病中，人候問相踵於道，名醫、上藥無不至焉。將歿，上疏謝恩。詔高力士就第候省。是夕薨。
英欠身而寤，見方偃於邸舍，呂翁坐其傍，主人炊黍未熟，觸類如故。生蹶然而興，曰：“豈期夢寐耶?”翁曰：“人生之適，亦如是矣！”英憮然良久，謝曰：“夫寵辱之道，窮通之運，得喪之理，生死之情，盡知之矣！此先生所以窒吾欲也。”稽首再拜求度。翁慨然許錄。
遂攜往閬苑，令何仙姑掃葉，謂曰：“何先生功積彌深，升任東海青霞洞真大元君。子當勖之。”姑曰：“守職少閑，偶遊江左。見一蒼顏道人長歎曰：‘人生是真耶，夢耶?’餘笑曰：‘真者還是夢，夢者未必非真。見真如見夢，隻恐反非真耳。’老曰：‘見真不識真，笑倒南無觀世音。’知此子徒以口角招非，因轉語雲：‘觀音真自在，爾不見其音。要識歸來路，須尋假裏真。’欲度彼出離愛河。奈其不屑懇問，故未點化。複至華山，遇一道者，金丹秘訣，悉備於身，因無天詔，不得飛升玉闕。及詢其由，生於劉宋時，曰張山峰，號樸陽子。未入道時，曾授人以房中禦女之術。天帝惡之，終於草島遊仙。噫！天律之嚴如此，宿緣之阻如彼。子得我師化度，務宜努力精進！”何祖自居蓬島青霞，號曰“一陽”，間入世廣濟無盡。純陽回終南，道童雲：“祖師送金賓貢上天考劾也。”純陽複與柳仙東遊。
南海新羅國賓貢進士金可記，性沉靜，不尚浮華，常服氣煉真，屬文清麗，美姿容。舉動言談，迥有中華之風。擢第後，於終南山子午穀葺居。植奇花異果，焚香靜坐，若有所思，誦《道德》諸仙經不輟。得鍾祖指教。後忽航海歸去。複至中國，則衣道服，務行陰德。丁醜冬，忽上表言：“臣奉玉皇詔，為英文台侍郎。明年二月二十五日，當上升。”帝正以軒轅集去，遣中使征可記入內。固辭。又求閱玉皇詔，辭以“別仙所掌，不留人間”。帝賜宮女四人、香藥金彩，又遣二中使服侍。可記獨居靜室，都不接近。每夜聞室內有談笑聲，窺見仙宮、仙女，各坐龍鳳上，儼然相對，複有侍衛甚多。外人不敢輒驚。至期，景物妍媚。果有五雲唳鶴、祥鸞白鵠、笙簫金石、羽蓋瓊輪、幡憧仙仗，擁護升空而去。朝列士庶瞻禮，填隘山穀。
帝益好神仙，而方士輩競獻丹藥。帝餌之，已覺燥渴，冀其延年，猶自諱之。是秋，奏建州嚴刺史棄職，訪道羅浮。冬十月，以於延齡代之。令狐絢擬李遠為杭州刺史，帝曰：“遠詩有‘長日惟消一局棋’，安能理人?”遠至任，暇與賓客遍訪浙中諸異。
先是天台國清寺有僧惠虛，與同侶遊山，戲以過石橋者為能。水峻苔滑，懸溜萬仞，眾股栗不前。惟惠虛超然而過，徑上石壁，至夕不回。群侶舍去。惠虛出石壁外，微有小徑。稍行漸平闊，花卉萬叢，不可目識。十裏許，忽及宮闕，台閣連雲。其門題額曰“會真府”，左額曰“金庭宮”，右額曰“桐柏”。三門相向鼎峙，皆金樓玉窗，高百丈。入右內之西，又一高樓黃門，題曰“右弼宮”。周顧數千間，屈曲相通，瑤階玉陛，流渠放水。處處華麗，殆欲忘歸。入一院，見青童五六人過，相顧笑語。追問之，應曰：“汝須問巴山張老。”回顧，一吏挾杖持花麵來，訝曰：“汝凡俗人，何忽至此?”惠虛曰：“常聞過石梁有羅漢寺，塵世時聞鍾聲，故來尋訪。千生幸會！”張曰：“此天地之下府，號金庭。不死之鄉，養真之靈境，周百六十裏。右弼、桐柏，上真王君主之。列仙三千人，仙王、力士、天童、玉女各萬人。太上二年三降此宮，校定天下學道人功行品弟。為小都會之所。何有羅漢?”惠虛曰：“神仙可學否?”張曰：“在於立誌堅久。汝得至福庭，有可學之望。”又問：“以何門而入?”張曰：“內以保神煉氣，外以服餌丹華。上真適遊東海，騎衛若還，恐有谘責。汝可速返。”因引之出。不數步，已在國清寺中，險峻如未之度。自此慕道，好丹石爐火。凡有所得，皆費於此。