花近高樓傷客心，萬方多難此登臨。
錦江春色來天地，玉壘浮雲變古今。
北極朝廷終不改，西山寇盜莫相侵。
可憐後主還祠廟，日暮聊為《梁甫吟》。
——《登樓》
六月，嚴武推薦杜甫為節度使署參謀及工部員外郎。杜甫就任後，嚴武對他關懷備至，完全沒有以上對下的威嚴，故而引起了同僚們的嫉妒。杜甫心中也十分愁苦，他並不是攀關係或依靠逢迎才得到這個官職，可是同僚們哪裏肯相信？在這樣的環境下，杜甫的心情可想而知。
清秋幕府井梧寒，獨宿江城蠟炬殘。
永夜角聲悲自語，中天月色好誰看？
風塵荏苒音書絕，關塞蕭條行路難。
已忍伶俜十年事，強移棲息一枝安。
——《宿府》
雖然安史之亂已經平定，但代宗即位後，吐蕃又大舉入侵中原，長安一度淪陷。後來郭子儀率軍擊退吐蕃，但西南邊境依然岌岌可危。嚴武到任後，整頓軍紀，率兵西征，擊敗吐蕃，巴蜀之地才算安定下來。嚴武擊敗吐蕃後，加拜吏部尚書，這時他才39歲，便已功業彪炳，如日中天。杜甫自然也為他的成功而高興，但因杜甫在節度使參謀任上十分不愉快，且身體衰弱多病，所以再三請辭想回草堂休養，嚴武也隻好勉強答應。杜甫擔任這個工部員外郎的職位還不到半年，但是後人尊稱他為杜工部，這是杜甫一生中的最後一個官銜。
自從安史之亂以來，杜甫一直過著顛沛流離的生活，這些年裏，王維、李白、房琯、鄭虔、蘇源明等相繼去世。代宗永泰元年（765年）正月，高適又病逝於長安，杜甫眼見舊日好友一一凋零，心中感傷萬分。沒想到五月間，正值春秋鼎盛的嚴武竟然一病不起，死於任所，這更使得杜甫傷痛哀悼不已。
嚴武的棺槨被置於船中，歸返洛陽安葬。杜甫趕到江邊送這位朋友最後一程。他看著船上隨風飄揚的白幔漸漸遠去，不禁潸然淚下。
素幔隨流水，歸舟返舊京。
老親如宿昔，部曲異平生。
風送蛟龍雨，天長驃騎營。
一哀三峽暮，遺後見君情。
——《哭嚴仆射歸櫬》
寂寥殘年
嚴武去世後，杜甫沉湎於回憶中，常常觸景傷情。之後各武將飛揚跋扈，蜀中大亂，邊關少數民族又時常侵犯邊境，局勢的不穩逼得杜甫不得不離開成都。五月末，告別草堂，告別淙淙細流的浣花溪，杜甫一家乘舟東下，經過嘉州（今四川樂山）、戎州（今四川宜賓）、重慶至忠州（今重慶忠縣），在江邊一座寺廟住了兩個月後，九月間到達雲安（今重慶雲陽），疲累困頓的跋涉使得杜甫舊疾複發，於是便留在雲安養病。
幾經烽火流離，杜甫覺得一片茫然，54歲的他，這時已消退了熱情，磨滅了雄心，名利對他來說已沒有任何意義。他常茫然地望著江麵，無可奈何地接受這終生飄零的命運。此時又趕上舊病複發，於是杜甫便在病榻上將旅於舟上的感慨宣泄於詩句。
細草微風岸，危檣獨夜舟。
星垂平野闊，月湧大江流。
名豈文章著，官應老病休。
飄飄何所似，天地一沙鷗。
——《旅夜書懷》
次年春天，杜甫覺得身體好一些了，便舉家遷往夔州，暫時居住在城內的西閣。夔州都督對杜甫頗有資助，夔州境內的東瀼溪兩岸有公田百頃，據說公孫述曾在這裏屯田，所以叫作東屯。杜甫在這裏租到一些公田耕種。夔州是三峽中的一處山城，背山麵水，風景絕佳，且三峽之一的瞿塘峽又在附近，極盡山光水色的旖旎。夔州城東就是著名的白帝城，此城建在江邊險峻的斷崖上，登城瞭望可見江濤拍岸，“卷起千堆雪”。
這時期，杜甫寫下許多著名的詩句。他潛心創作，刻苦經營，暮年飄零、羈旅異地、麵對滿目蕭條的秋景而引起的家國之思，以及對個人命運的悲歎等都一一融入詩句中，所以這一時期杜甫的七言律詩大放異彩，不僅有豐沛的情感內容，且創新了詩歌的形式，如《秋興》八首、《詠懷古跡》五首這類的大型詩組，都在杜甫筆下一一呈現。
玉露凋傷楓樹林，巫山巫峽氣蕭森。
江間波浪兼天湧，塞上風雲接地陰。
叢菊兩開他日淚，孤舟一係故園心。
寒衣處處催刀尺，白帝城高急暮砧。
——《秋興》其一
夔府孤城落日斜，每依北鬥望京華。
聽猿實下三聲淚，奉使虛隨八月槎。