277年，吳孫皓因會稽人張俶精於告密，對他極為寵信，以其為司直中郎將，主持國家安全工作。張俶設置偵查員（彈曲）二十人，專門調查指控官員的不法行為，於是互相告發檢舉，使監獄爆滿，人心浮動。
278年，羊祜病重，還念念不忘平吳之事，要求朝見司馬炎。司馬炎派中書令張華到羊祜家探望請教。羊祜說：“孫皓的暴虐，已到極點，如在今天進擊，可不戰而克。如果孫皓死去，吳國出現英明的君主，我們雖有百萬之眾，想窺探長江都不可能，那可是後患啊！”《晉書·羊祜傳》。張華完全讚同。羊祜說：“完成我誌願的，那就是你！”
不久，羊祜也離開人世，終年五十八歲。司馬炎以杜預為鎮南大將軍都督荊州諸軍事。
279年，益州刺史王濬又上書說：“孫皓荒淫凶逆，應該早日征伐東吳。如果孫皓身死，更立賢主，東吳就將成為強敵了；我造船七年，有的船已經逐漸腐朽敗壞；同時，我年已七十，死亡日期已經臨近。這三者有一樣不順，東吳就很難圖取。誠願陛下不要失掉良機。”《晉書·王濬傳》。這時雖然晉朝內部仍有不主張伐吳的，但司馬炎還是決定大舉南征。
十一月間，司馬炎發兵二十多萬，分為六路，在東西千裏的邊境線上，同時出擊。鎮東大將軍琅玡王司馬伷向塗中（今江蘇南京市六合區北）；安東將軍王渾向牛渚；建威將軍王戎向武昌；平南將軍胡奮向夏口；鎮南大將軍杜預向江陵；龍驤將軍王濬、廣武將軍唐彬率領巴蜀軍沿江東下。太尉賈充為大都督，節製諸軍。
戰爭正像羊祜所估計的那樣，東吳的軍隊沒有多大抵抗能力，晉軍所向披靡。杜預向江陵、王渾向牛渚的軍隊一路克捷。王濬軍順流而下，在江中要害處，用炬火燒斷吳軍設置的鐵鎖鏈的阻礙，斬軍殺將，屢獲勝利。夏口以西的吳軍很快瓦解。王濬同胡奮、王戎一道，攻下夏口、武昌。吳軍將士望風而降，晉軍直逼建業。
這時，東吳堅決抗擊晉軍的，隻有新任丞相的張悌和少數將領。張悌是有政治軍事才能、忠於東吳政權的人。他自知東吳必敗，隻是為了盡“臣節”，而去效死沙場。他督率丹陽太守沈瑩、護軍孫震，領兵三萬，渡江迎擊王渾軍。到牛渚時，沈瑩勸張悌先不要渡江北上與晉軍決戰，要積蓄力量，等待東下的晉軍水軍到來時再戰。張悌不同意，說：“吳之將亡，賢愚所知，不是今天才清楚的。我怕晉水軍到來時，眾心駭懼，不可複整。現在渡江，還可以同敵軍決戰一番。若像你所說的那樣，恐怕士眾就要散盡了。坐等敵人到來，沒有一個人死難，這豈不是個恥辱！”《三國誌·吳誌·三嗣主·孫皓傳》裴注引《襄陽記》。於是，引兵渡江，同晉軍交鋒。經過激烈戰鬥，吳軍失敗，張悌及部將孫震、沈瑩等戰死。孫皓急忙派陶濬準備領兵迎敵，做垂死掙紮，但當天晚上，拚湊起來的兩萬多士兵，都逃跑了。
這時東路司馬伷的軍隊也逼近建業。孫皓見山窮水盡，無力抵抗，隻得分派使者到王渾、王濬、司馬伷等處請求投降。他還致書臣下，說“張良、陳平去楚，入為漢臣，舍亂就理，非不忠也”，要他們歸附晉朝；還說“大晉平治四海，正是英俊展節之秋”，要他們在歸晉後，做出一番事業來。《三國誌·吳誌·三嗣主·孫皓傳》裴注引《江表傳》。不久，王濬的軍隊八萬人先開進石頭城，孫皓向王濬投降。正像唐朝詩人劉禹錫在《西塞山懷古》一詩中所寫的那樣：
王濬樓船下益州，金陵王氣黯然收。
千尋鐵鎖沉江底，一片降幡出石頭。
孫皓降晉是280年三月的事，至此，九十多年的分裂局麵結束了，三國歸於統一。
孫皓投降後，被遷往洛陽，司馬炎封他為歸命侯。孫皓登殿稽首，拜見晉武帝。司馬炎賜坐說：“朕設此座以待卿久矣。”孫皓回答說：“臣於南方，亦設此座以待陛下。”看來，他並未甘心屈服，不像劉禪那樣“樂不思蜀”。
後來，晉武帝問東吳舊臣薛瑩：“孫皓滅亡的原因在哪裏？”薛瑩回答說：“孫皓君臨東吳，親近小人，刑罰妄加。大臣大將，無所親信，人人憂恐，各不自保，所以危亡。”《三國誌·吳誌·薛綜傳》附《薛瑩傳》裴注引幹寶《晉紀》。薛瑩的話是符合實際的。