或許，羊祜之所以急著發動伐吳之戰，目的並不僅僅是建立不朽之勳業，更重要的是同情吳國百姓，想早早將他們從孫皓的殘暴統治下解救出來。因此，他考慮更多的，是戰後如何安撫吳國百姓，讓他們能有一個清明的政治環境，不至於生活在恐懼之中。
這一年羊祜五十八歲，他自知重病難愈，時日無多，不可能親自指揮征吳之戰，便向皇帝司馬炎推薦杜預接替其職。不久後，羊祜去世，皇帝司馬炎痛哭流涕。這是真哭，不是假哭，時值冬季，那日天特別寒冷，司馬炎流下的眼淚，沾在須鬢之上，結成晶瑩的冰珠。
羊祜去世的消息傳到荊州，荊州百姓無不悲泣，大家自覺關閉店麵，生意也不做了，用這種方式表達悲傷之情，一時間街頭巷尾，都是一片啜泣聲。不僅是晉國的民眾，就連吳國守邊的將士，聽得敵方主帥去世，亦不覺為之流淚。應該說，羊祜是整個三國史上，最富有人道主義精神的名將之一，他賦予殘酷的戰爭溫情的色彩，給命運悲慘的人民帶來和平的希望。後來，襄陽人在峴山上為羊祜立廟樹碑，每年祭祀，香火不斷，由於人們感念羊祜之功德，更懷念其人，望其碑而不禁墮淚，故而此碑又被稱為“墮淚碑”。
後世對羊祜的評價相當高。唐代名相房玄齡評價說：“羊公起平吳之策，其見天地之心焉。”孟浩然詩雲：“羊公碑尚在，讀罷淚沾襟。”北宋名臣範仲淹也有詩：“休哉羊叔子，輔晉功勳大。……公之仁澤深，風采獨不昧。於今墮淚碑，觀之益欽戴。”陸遊有詩：“叔子獨千古，名與漢江流。”叔子就是羊祜的字。
羊祜雖死，他精心策劃的伐吳戰略，最終被晉武帝全盤接受並施行。日後在平吳戰爭中表現最卓越的兩位將領，杜預與王濬，均是羊祜推薦。從這個意義上說，平吳之事業，羊祜實有不可磨滅之功。
臨死前，羊祜向晉武帝推薦了杜預，那麼，杜預到底有何不凡之處？
可以毫不誇張地說，杜預是個百科全書式的人物。政治、經濟、曆史、天文、地理、曆法、法律、數學等，他無所不通。時人送給他一個綽號，喚作“武庫”。武庫不是說杜預武藝高強，實際上他不會武功，甚至騎馬、射箭都不行。“武庫”是說他腦袋像武庫一樣，各種思想武器都有，《晉書》的說法是“無所不有也”。他寫了很多書，代表作是《春秋左氏經傳集解》，全書三十卷，是中國現存最早的關於《左傳》的注解書。
杜預曾經參加過伐蜀之戰，官職是鎮西長史，是鍾會手下的長史。後來鍾會叛反，對效忠朝廷的幕府參謀人員大加迫害，很多人因此喪命，杜預憑借自己的智慧僥幸躲過一劫。羊祜推薦杜預時，他正擔任度支尚書，相當於國家財政部長。他擔任尚書時間長達七年，其間大刀闊斧地推行改革。羊祜推薦杜預，除了看中他的能力之外，還有一個原因，杜預是朝廷中為數不多堅決支持南征吳國的官員。要是連這個抱負也沒有，怎麼能完成平吳的曆史偉業呢？
公元278年年底，杜預出任鎮南大將軍，都督荊州諸軍事。俗話說，新官上任三把火，杜預一到荊州，便把吳軍打了個措手不及。以前羊祜坐鎮荊州時，要打仗就事先跟吳國人約架，幾月幾號，在哪裏幹上一場，說得明明白白。也許是吳國人已經熟悉這一套，習以為常了，哪知新上任的杜預卻不按以往的規矩出牌。晉軍突然發動對西陵的突襲戰，東吳大將、西陵督張政被打得暈頭轉向，丟盔棄甲。
其實，張政是比較有才幹的將領，所以他才能接替陸抗坐鎮西陵。此番西陵遭偷襲，令張政臉麵無光，深感恥辱，便隱瞞損失，沒有如實向朝廷上報。可是紙包不住火，而捅破這張紙的不是別人，正是號稱“武庫”的杜預。既然你向朝廷瞞報，我就揪住這條小辮子做文章，杜預故意大造聲勢，把戰鬥中繳獲的武器交還給東吳政府，這下子張政的敗績被無情戳穿。暴君孫皓勃然大怒，把張政免職召回京師。
迷信的孫皓不知從哪來的自信，還做著北定中原的美夢，他不知道的是，東吳帝國的末日很快就要來臨了。