司馬炎稱帝後，改國號為晉，改元泰始，都洛陽。此時，蜀已為魏滅、晉又代替了魏，天下形勢已由三國鼎立變成了晉與吳的南北對峙。
司馬炎剛剛登上皇位，便想著舉兵伐吳，一統天下，無奈晉國缺少一支強大的水軍，滅吳之舉隻能暫停，司馬炎一麵派使臣與吳講和，作緩兵之計，一麵又抓緊時間，開始作進攻吳國的軍事準備。
公元269年，晉武帝以羊祜都督荊州諸軍事，鎮守襄陽；王濬都督青州諸軍事，鎮臨淄；司馬伷都督徐州諸軍事，鎮下邳，以這些地區作為進軍的基地。
公元272年，司馬炎以王濬為益州刺史，密命他製造大船，訓練水軍，一支強大的水軍在長江上遊逐漸建立起來了。
正當晉朝國力日盛，積極準備平吳的時候，江東的孫吳卻是每況愈下。早在孫權晚年，由於賦役苛重，吳國人民的不滿和反抗已有所發展，社會矛盾加劇。晚年的孫權性多猜疑，搞得朝臣人不自安。孫權死後，圍繞繼位和權力問題，引發了一連串的宮廷內爭和帝位更迭，進一步加劇了吳國的混亂。
公元264年，孫權之孫烏程侯孫皓被迎立為帝後，情況更加不可收拾。孫皓昏庸無道，即位後盡情享樂，好酒色，興土木，搞得吳國“國無一年之儲，家無經月之畜”，人民揭竿而起，朝臣離心離德。孫皓對西晉的威脅，毫無戒心，有時也派兵攻晉，但多因草率而無功。他迷信長江天險可保平安，從未認真在戰備上下功夫。
吳國的衰落，孫皓的昏庸，為晉的順利滅吳，提供了難得的機會。
公元279年，王濬、杜預（此時羊祜已死）以吳主孫皓“荒淫凶虐”，上書建議司馬炎“宜速征伐”，舉兵平吳。司馬炎即於這年十一月開始了平吳的大進軍。
晉軍基本上按羊祜生前製定的作戰計劃，分六路出擊：鎮軍將軍、琅玡王司馬伷自駐地下邳向塗中（今安徽滁河流域），安東將軍王渾出江西，建威將軍王戎向武昌方向進攻，平南將軍胡奮出擊夏口（屬今湖北武漢市），鎮南大將軍杜預自駐地襄陽進軍江陵（今湖北江陵），龍驤將軍王濬、廣武將軍唐彬率巴蜀之卒順江流而下。晉軍約20餘萬，以太尉賈充為大都督總領眾軍。晉軍分路出擊，意在迅速切斷吳軍聯係，各個擊破，其中西麵晉軍主攻，東麵晉軍牽製吳軍主力，最後奪取吳都建業。
公元279年十二月，王濬、唐彬率軍7萬兵沿江而下。公元280年2月克丹楊（今湖北秭歸東），進逼西陵峽。吳軍於此設置鐵鎖橫江，又作鐵錐暗置江中，以為以此即可阻止晉軍前進，竟不派兵防守。王濬早已預作大筏數十個，縛草為人，立於筏上，使水性好的士卒以筏先行，筏遇鐵錐，錐即著筏而去，又用大火燒融鐵鎖。晉軍順利排除了障礙，一路勢如破竹，攻克西陵，繼克夷道（今湖北宜都）、樂鄉（今湖北鬆滋東北，長江南岸）。
與此同時，杜預率領的晉軍，幾乎兵不血刃，奪取了江陵，所到之處，大多不戰而勝。
隨即司馬炎又命王濬為都督益梁二州諸軍事，要他和唐彬率軍繼續東下，掃除巴丘（今湖南嶽陽）。同時命杜預南下鎮撫零陵（今湖南零陵）、桂陽（今湖南郴縣）、衡陽（今湖南湘潭西）。於時王濬遵命即克夏口，與王戎聯軍奪取武昌，隨後又“泛舟東下，所在皆平”。至此，晉軍主力已完全控製了長江上遊地區。
至於東麵，王渾率晉軍已抵橫江（今安徽和縣東南）一帶，準備渡江進逼建業。吳主孫皓慌亂異常，急令丞相張悌率丹陽太守沈瑩、護軍孫震等率兵3萬，渡江迎擊。結果晉軍大勝，臨陣斬殺張悌、沈瑩、孫震等人。王渾率軍逼近江岸，部將建議他乘勝直搗建業。但王渾以司馬炎隻命他守江北，拒納建議，停軍江北，等待王濬。這時琅玡王司馬伷的晉軍也進抵長江，威脅建業。
三月，王濬軍東下抵達三山（在今江蘇南京市西南）。吳主孫皓遣張象率舟軍萬人抵禦，但吳軍毫無鬥誌，“望旗而降”。孫皓企圖再湊2萬兵眾抵抗，這些士眾卻於出發前夜，即盡逃亡。至此，吳國已無兵可守。各路晉軍兵臨建業。孫皓用大臣薛瑩、胡衝計，分別遣使奉書於王濬、司馬伷、王渾處求降，企圖挑撥離間。按司馬炎原先的規定，這時的王濬晉軍應由王渾節度，而王渾屯兵不進，又以共同議事的名義，也要王濬停止進軍。但王濬不顧王渾阻攔，於三月十五日以戎卒8萬，方舟百裏，鼓噪而進建業。吳主孫皓出降於王濬軍前，吳亡，晉統一全國。