杜甫帶著淒涼的心緒，沿著岷江，乘舟往東，經過嘉州（今四川樂山）——戎州（今四川宜賓）——渝州（今重慶）——忠州（今四川忠州），九月到了雲安（今四川雲陽），水路近八百公裏。江上的濕氣很重，讓他的肺病和風痹一起發作，到了雲安後，實在走不動了，就上岸來，在嚴縣令的水閣中臥床一個冬天。
這一路，他們在千山之間泛著一葉小舟。微薄的旅資捉襟見肘，不僅去不了洛陽，連下吳越也艱難。白天小舟順流而下，杜甫不知該投奔哪裏；晚上把小舟係在江岸的石根下，江風吹著青楓，猿猴在山崖裏悲啼。杜甫看著一輪孤月，又深受疾病折磨，心裏覺得格外寂寞，難免想念自己一生的摯友。
這時，李白已去世兩年。與他在齊趙間一同騎獵的蘇預早已傳來死訊。曾在長安時與他相濡以沫的鄭虔，也已病死在台州。鄭虔號稱書、畫、詩三絕，但一生潦倒，與杜甫同病相憐。安祿山破長安時，鄭虔被俘，授水部郎中，他托病不就。等長安收複，肅宗回朝，就將他遠遠地貶到了台州（今浙江臨海）做司戶參軍。杜甫十分傷心，覺得鄭虔這一去，山高路遠，定難重逢，於是寫詩相贈，淒慘動人。如今兩人各在天涯，杜甫忽然聽到老友過世，更是老淚縱橫，麵對大江失聲痛哭。
經過忠州時，恰好嚴武的棺槨途經這裏。杜甫雖然曾對嚴武有一絲不滿，但此刻回想起來，平生對他幫助最大的，就是這棺中之人。斯人已逝，以往的小小怨言，也都煙雲飄散。杜甫去拜訪了嚴武的母親，想到嚴武的功業，以及二人相處的時光，又一次傷心欲絕，仿佛三峽都籠罩上淒涼的寒色。
而嚴武死後，其部下無人掌控，彼此攻擊，釀成了大亂。郭英乂繼任節度使，但暴戾驕橫，很快被嚴武的部下崔旰趕走，又被韓澄殺死。不久，另一些部下柏茂琳、楊子琳等又起兵討伐崔旰。於是蜀中大亂，商旅斷絕，吳鹽不能入，蜀麻不能出。杜甫聽到這些消息，連寫了三首絕句。第一首寫蜀中的紛爭擾亂：
前年渝州殺刺史，今年開州殺刺史。
群盜相隨劇虎狼，食人更肯留妻子？
第二首寫蜀中百姓的流離失所：
二十一家同入蜀，惟殘一人出駱穀。
自說二女齧臂時，回頭卻向秦雲哭。
第三首寫官兵雖然驍勇，但與羌兵一樣殘暴，燒殺搶掠，無所不為：
殿前兵馬雖驍雄，縱暴略與羌渾同。
聞道殺人漢水上，婦女多在官軍中。
這讓杜甫更加明白了嚴武的分量，後來在紀念嚴武的詩裏，將他比作諸葛亮，寫道：“公來雪山重，公去雪山輕。”
噩耗接二連三，高適又在長安死於任上。杜甫覺得好友陸續過世，好似秋風落葉，心裏更感淒涼，覺得自己也難免步他們後塵。此時，他已是百病纏身，頭風、肺病、瘧疾、風痹，交相地折磨他，讓他覺得自己年老疲憊，容顏衰朽。
這些情緒，都表露在《旅夜書懷》當中：
細草微風岸，危檣獨夜舟。
星垂平野闊，月湧大江流。
名豈文章著，官應老病休。
飄飄何所似？天地一沙鷗。
杜甫說，世人都知道他在詩歌上的名聲，又怎會知道，他也是個胸有韜略、腹有良謀的將相之才。他辭官，表麵看來是因為老病，其實是才能無處施展罷了。他覺得自己飄飄於天地之間，就像一隻渺小的沙鷗。
此時，他內心複雜，一麵希望江水北折，帶他回到北方的兩京，回到朝廷，做些對社稷微小而有益的事情；而另一麵，他又想念萬裏橋以西、百花潭以北的成都草堂，留戀在那裏度過的時光。然而他翹首西望，隻有一片茫茫，成都終究是回不去了。
有時他也會覺得途中無聊，就開點玩笑，說：“聽說雲安有曲米春，是醇香的好酒，隻飲一盞，就能讓人沉醉呢。你們趕緊劃船哪。”
而他果然滯留在雲安，臥病一個寒冬。當他看到南方雪極稀極少，往往還沒落地，就已融化，隻在高山之上，才有一點薄雪，就更加懷念北方深厚的積雪了。