公元277年，羊祜得了重病，他感到時間已不多了，便請求入朝謁見晉武帝司馬炎，麵陳伐吳之計。司馬炎因羊祜染病不宜入宮，特地派遣中書令張華前往南夏，聽取籌策。
當時，對進兵江南，朝廷中有不少官員持反對態度，羊祜對張華說：“天下不如意的事十居七八，機遇是不多的。現在吳國虐政日甚一日，而陸抗已去世三年，這真是天賜良機，如果出兵，可以不戰而克。蒼天給予而我們卻不取，將來是要後悔的。假如孫皓不幸而死，吳國人更立明主，到那時，即使有百萬甲兵，也難以越過長江，還會給子孫後代留下後患。”張華深表讚同，對羊祜說：“聖上進軍江南的決心已定，並決定由你擔任征南軍隊的統師，你可以坐臥在車船之上，指揮諸軍作戰。”羊祜答道：“收取江南不一定非要我親自去做，立功揚名的事，我不敢自居。”他推薦杜預擔任統帥，並一再告誡張華說：“平定江南易如反掌，這件事聖上不用操心。但在平定吳國後，將軍們可能會爭功，這件事一定要處理得當。為了國家的長治久安，還要慎重地選擇輔國的人才，這些都有勞聖慮了。”
第二年，羊祜病逝，晉國舉國哀悼。大殯的那天，司馬炎身著素服，親自送殯。當時正值嚴寒的冬季，司馬炎久久不願離去，悲傷的涕淚灑在須發上，全部凝結成冰粒。江漢的百姓得知羊祜病逝的消息，沉浸在萬分悲痛之中，趕集的人自動罷市，哭聲響成一片，連吳國守邊的將士們都流下傷心的眼淚。
百姓們為了紀念羊祜，在硯山上為他建碑立廟，清明時節，成千上萬的人來到硯山緬懷羊祜。見到羊公碑，人們沒有不落淚的。因此，後人把羊公碑改稱“墜淚碑”。
羊祜逝世後，司馬炎任命杜預為鎮南大將軍，都督荊州諸軍事。公元279年，也就是羊祜逝世後一年，晉國軍隊分三路大舉伐吳，杜預攻占了東鄉（今湖北鬆滋縣東），吳國軍民投降萬餘人。接著，杜預又攻占了江陵（今湖北枝江、潛江縣一帶），於是，湘江、沅江以南，直至交州、廣州（相當今天廣東的大部、廣西的一部分，越南東北部的地帶），吳國的大小郡邑都望風歸命，紛紛投降，局勢很快就穩定下來。第二年，晉國將軍王濬，指揮水軍攻克石頭城（今江蘇南京市），孫皓投降，立國五十七年的東吳從此滅亡。
捷報傳到晉國朝廷，文武群臣都來向司馬炎祝賀。司馬炎手執酒杯，流著淚對群臣說：“這都是羊將軍的功勞啊！”接著，司馬炎帶領文武大臣到羊祜的墓前去祭奠，把勝利的喜訊告慰已經長眠地下的羊祜。