後來杜甫輾轉投奔了新皇帝李亨，並得到了左拾遺的職位。左拾遺是言官，專門給皇帝提各種建議，雖然官小職輕，但如果做好了，一樣可以成為皇帝重用的大臣。
事實證明，杜甫在詩歌方麵是天才，在仕途上卻是庸才。他沒有仕途中人的察言觀色，也沒有靈敏的政治嗅覺，當皇帝決意修理宰相房琯時（房綰帶兵收複長安失敗），他不合時宜地站了出來為房琯鳴不平，這一下觸了李亨的黴頭，也把杜甫自己的仕途徹底斷送。
自此，杜甫的仕途一片漆黑，再也看不到一點光亮。
自覺無趣的杜甫從此無意於仕途，過上了四海為家的生活。這一次不再是“裘馬輕狂”的遠遊，而是拖家帶口的逃難，即便安史之亂於公元七六三年結束，杜甫的流浪卻從沒有停止。
他的足跡到過秦州（甘肅天水），到過同穀（甘肅成縣），到過成都，一度他有意在成都長久地住下去。
可惜，杜甫注定與苦難相連，在成都的杜甫草堂裏，他前後不過住了兩年的光景，這兩年是杜甫後半生難得的好時光。
在這兩年裏，他參觀了諸葛亮的武侯祠，寫下了“出師未捷身先死，長使英雄淚滿襟”的詩句，在這兩年裏他感受了春夜喜雨，寫下了“好雨知時節，當春乃發生”。
如果時光就這麼延續，該有多好！
現實對杜甫就是這麼殘酷，一直對他有所資助的劍南節度使嚴武突然暴卒，杜甫失去了重要的經濟支柱。這時他想起去投奔好友高適，命運再次跟杜甫開了個玩笑，高適也去世了。
雪上加霜的是，杜甫草堂的屋頂也被大風卷走了。一代大詩人，上無片瓦，下無立錐之地。
公元七六五年五月，杜甫再次開始遷徙，這次遷徙他從成都遷往了夔州，在夔州一待就是兩年多。在夔州待著不動沒有別的原因，隻是因為沒錢，寸步難行。
夔州的日子依然艱難，杜甫還在寫詩：“無邊落木蕭蕭下，不盡長江滾滾來。”
公元七六八年，杜甫再次遷徙，從夔州前往江陵。本來跟從弟（叔父的兒子）約好在江陵見麵，然而到了江陵，從弟卻躲了起來，不肯見麵，杜甫再次陷入斷糧的境地。
遷徙，接著遷徙，杜甫在遷徙中漸漸走近了生命的終點。
在杜甫生命的最後幾年，他在遷徙途中遇到了一個人，這個人的名字叫李龜年，唐代著名的樂手，與杜甫有著數麵之緣，當年“岐王宅裏尋常見，崔九堂前幾度聞”，現在“正是江南好風景，落花時節又逢君”。
當年的青年詩人與青年樂手，現在都已是風燭殘年的老人，曾經的那些風流，早已無可奈何地隨花落去，從此他們都是靠記憶活著的老人。
唱不盡興亡夢幻，彈不盡悲傷感歎，淒涼滿眼對江山。
公元七七〇年，杜甫因遇洪水，受阻於耒陽城外的一個小島，十天沒有吃上一頓飯。耒陽縣令聽說杜甫被困，前來營救，並送來了白酒和牛肉，他的舉動讓困頓的杜甫感受到了久違的溫暖。
與此同時，生命的悲劇不期而至。
《新唐書》：縣令嚐饋牛炙白酒，大醉，一夕卒，年五十九。
《舊唐書》：大曆二年，啖牛肉白酒，一夕而卒於耒陽。
郭沫若先生分析說，杜甫可能死於食物中毒，隔夜的牛肉變質食用後可能導致中毒。
杜甫彌留之際，最大的願望是歸葬首陽山，那裏有他的祖父杜審言，他想陪伴在祖父身邊。
這個小小的願望擱置了四十三年，杜甫的兒子們一直沒有能力完成他的遺願，四十三年後杜甫的孫子杜嗣業終於幫祖父完成了遺願。
為了彰顯祖父的成就，杜嗣業特意邀請當時與白居易齊名的大詩人元稹撰寫墓誌銘，一向崇拜杜甫的元稹欣然接受，提筆為自己的偶像寫下了墓誌銘。
杜甫是不幸的，他寫得出名垂千古的詩篇，卻舉不起生活的重擔；他一下筆就是千古名句，一生卻受困於柴米油鹽；他生時寂寞，死後卻享盛名，生前死後境遇天差地別。古往今來或許隻有一人可以與之相比——孔子：活著困頓如喪家之犬，死後卻是萬世之師。
然而，幸與不幸，都是生活的給予，或許正是個人的苦難，增加了杜甫詩篇的厚度，杜甫個人的不幸，或許正是中國文化之大幸！