杜甫在衡陽，雖然被病痛折磨，卻依然樂天，開始有了一種玩世不恭的態度，不僅拿孔子盜蹠開玩笑，在一些詩裏，竟然有了之前所未有的瑰麗。比如，《寄韓諫議注》：
今我不樂思嶽陽，身欲奮飛病在床。
美人娟娟隔秋水，濯足洞庭望八荒。
鴻飛冥冥日月白，青楓葉赤天雨霜。
玉京群帝集北鬥，或騎麒麟翳鳳凰。
芙蓉旌旗煙霧落，影動倒景搖瀟湘。
星宮之君醉瓊漿，羽人稀少不在旁。
似聞昨者赤鬆子，恐是漢代韓張良。
昔隨劉氏定長安，帷幄未改神慘傷。
國家成敗吾豈敢，色難腥腐餐楓香。
周南留滯古所惜，南極老人應壽昌。
美人胡為隔秋水，焉得置之貢玉堂。
雖然說這首詩裏還有勸韓注繼續做官、東山再起的意思，基調上卻詼諧壯麗，把政治與遊仙結合起來，這可不是一般人能想到的。
而且，衡陽也並沒有杜甫最初想象的那樣糟糕。在唐朝，很多北方人中原人對江南地區有著極大的偏見，認為這裏是蠻荒之地，經濟文化都很落後。實際上在當時，南方確實落後於北方和中原。但是這個時候，經濟中心已經開始逐步南移，北方的戰火嚴重製約了經濟發展，相比較而言，這裏雖然比不上長安洛陽的繁榮，但是多了份安逸祥和。
當時，衡陽刺史韋之晉正好也是杜甫的朋友。杜甫到衡陽，也有投奔他謀取個職位的想法。可是偏不湊巧，杜甫到衡陽不久，韋之晉就調任潭州刺史（長沙一帶），而杜甫跑到潭州的時候，韋之晉也跟當初的嚴武一樣，暴病而亡。
失去了這個最後的靠山，杜甫徹底淪為難民。當時的長沙人並不好客，杜甫進入了前所未有的低潮，之前難得培養起來的樂觀態度和隱逸精神在淒涼的現實麵前化為烏有。他甚至居無定所，隻得買來一艘漁船，住在水上。為了一家老小的生計，他重操舊業，賣藥為生。閑暇之餘，杜甫也開始整理文稿，做著最後的打算。
就這樣在長沙漂泊了四個月，上天對他的殘酷超乎想象。然而上天還覺得不夠。沒多久，又一個人闖進了杜甫的生活，仿佛是上天的刻意安排，讓他再一次回味國破家窮的痛苦。在暮春的長沙，他遇到了同樣流落到此的李龜年。
李龜年是唐朝著名的歌手，天下太平的時候，曾經多次在豪門貴族家中舉辦演唱會、歌友會。此時天下大亂，也沒人顧及這些藝人，他隻得和杜甫一樣，流落江南。當初杜甫還是富二代的時候，他們經常在岐王府和崔九堂裏麵見麵，也算是老朋友了。
杜甫遇到他，心情非常複雜。就在前不久杜甫整理書稿的時候，發現了一封來不及回的信，是高適寄來的。想想這麼多年了，高適都已經去世了，杜甫出於禮貌，也出於感慨，特地寫了一封回信。當初的朋友大半已經過世，能在這裏遇到李龜年，也算得上是他鄉遇故知。
江南風李龜年
岐王宅裏尋常見，崔九堂前幾度聞。
正是江南好風景，落花時節又逢君。
落花時節又逢君，這話很有內涵。在這個江河日下的時代，能夠遇見你，就是我的“江南好風景”。杜甫的心情並未受到多少打擊，然而，上天要收他了，他離開這個世界要不了多久了。
四月八日晚，湖南兵馬使以討要軍餉為理由，發動兵變，這下就連長沙都不太平了。杜甫隻得跟隨長沙的其他難民一起向南逃竄，在好友蘇渙的幫助下，杜甫再一次到了衡陽。
一路上，天氣悶熱，雨水不斷。可是一進入衡陽境內，天氣就突然涼爽了，這也算是上天對杜甫的最後一點恩惠了。衡陽人非常愛戴杜甫，杜甫也逐漸愛上了這片土地。他的時間不多了，能夠在衡陽安度最後的時光，已經成為他最後的要求。
平叛畢竟還要進行，道州刺史、衡陽刺史等州縣地方部隊都組織起來討伐潭州。可是，這時候的唐朝已經沒有當年的雄武之氣，僅僅因為一個刺史收了叛軍的好處，這場平叛就以失敗告終。殘酷的現實逼迫著杜甫不得不離開衡陽，往更南方遷徙，也是往離故鄉洛陽更遠的地方。