司馬炎觀表，大喜，便令興師。——賈充、荀勗、馮三人，力言不可，炎因此不行。祜聞上不允其請，歎曰：“天下不如意事，十常八九。今天與不取，豈不大可惜哉!”至鹹寧四年，羊祜入朝，奏辭歸鄉養病。炎問曰：“卿有何安邦之策，以教寡人?”祜曰：“孫皓暴虐已甚，於今可不戰而克。若皓不幸而歿，更立賢君，則吳非陛下所能得也。”炎大悟曰：“卿今便提兵往伐，若何?”祜曰：“臣年老多病，不堪當此任。陛下另選智勇之士，可也。”遂辭炎而歸。是年十一月，羊祜病危，司馬炎車駕親臨其家問安。炎至臥榻前，祜下淚曰：“臣萬死不能報陛下也!”炎亦泣曰：“朕深恨不能用卿伐吳之策。——今日誰可繼卿之誌?”祜含淚而言曰：“臣死矣，不敢不盡愚誠：右將軍杜預可任；若伐吳，須當用之。”炎曰：“舉善薦賢，乃美事也；卿何薦人於朝，即自焚奏稿，不令人知耶?”祜曰：“拜官公朝，謝恩私門，臣所不取也。”言訖而亡。炎大哭回宮，敕贈太傅、巨平侯。南州百姓聞羊祜死，罷市而哭。江南守邊將士，亦皆哭泣。襄陽人思祜存日，常遊於峴山，遂建廟立碑，四時祭之。往來人見其碑文者，無不流涕，故名為“墮淚碑”。後人有詩歎曰：
降孫皓三分歸一統
曉日登臨感晉臣，古碑零落峴山春。
鬆間殘露頻頻滴，疑是當年墮淚人。
晉主以羊祜之言，拜杜預為鎮南大將軍都督荊州事。杜預為人，老成練達，好學不倦，最喜讀左丘明《春秋傳》，坐臥常自攜，每出入必使人持《左傳》於馬前，時人謂之“左傳癖”。及奉晉主之命，在襄陽撫民養兵，準備伐吳。
此時吳國丁奉、陸抗皆死，吳主皓每宴群臣，皆令沉醉；又置黃門郎十人為糾彈官。宴罷之後，各奏過失，有犯者或剝其麵，或鑿其眼。由是國人大懼。晉益州刺史王濬上疏請伐吳。其疏曰：
孫皓荒淫凶逆，宜速征伐。若一旦皓死，更立賢主，則強敵也；臣造船七年，日有朽敗；臣年七十，死亡無日：三者一乖，則難圖矣。願陛下無失事機。
晉主覽疏，遂與群臣議曰：“王公之論，與羊都督暗合。朕意決矣。”侍中王渾奏曰：“臣聞孫皓欲北上，軍伍已皆整備，聲勢正盛，難與爭鋒。更遲一年以待其疲，方可成功。”晉主依其奏，乃降詔止兵莫動，退入後宮，與秘書丞張華圍棋消遣。近臣奏邊庭有表到。晉主開視之，乃杜預表也。表略雲：
往者，羊祜不博謀於朝臣，而密與陛下計，故令朝臣多異同之議。凡事當以利害相校。度此舉之利，十有八九，而其害止於無功耳。自秋以來，討賊之形頗露；今若中止，孫皓恐怖，徙都武昌，完修江南諸城，遷其居民，城不可攻，野無所掠，則明年之計亦無及矣。
晉主覽表才罷，張華突然而起，推卻棋枰，斂手奏曰：“陛下聖武，國富民強；吳主淫虐，民憂國敝。今若討之，可不勞而定。願勿以為疑。”晉主曰：“卿言洞見利害，朕複何疑。”即出升殿，命鎮南大將軍杜預為大都督，引兵十萬出江陵；鎮東大將軍琅琊王司馬伷出塗中；安東大將軍王渾出橫江；建威將軍王戎出武昌；平南將軍胡奮出夏口；各引兵五萬，皆聽預調用。又遣龍驤將軍王濬、廣武將軍唐彬，浮江東下：水陸兵二十餘萬，戰船數萬艘。又令冠軍將軍楊濟出屯襄陽，節製諸路人馬。
早有消息報入東吳。吳主皓大驚，急召丞相張悌、司徒何植、司空滕循，計議退兵之策。悌奏曰：“可令車騎將軍伍延為都督，進兵江陵，迎敵杜預；驃騎將軍孫歆進兵拒夏口等處軍馬。臣敢為軍師，領左將軍沈瑩、右將軍諸葛靚，引兵十萬，出兵牛渚，接應諸路軍馬。”皓從之，遂令張悌引兵去了。皓退入後宮，不安憂色。幸臣中常侍岑昏問其故。皓曰：“晉兵大至，諸路已有兵迎之；爭奈王濬率兵數萬，戰船齊備，順流而下，其鋒甚銳：“朕因此憂也。”昏曰：“臣有一計，令王濬之舟，皆為齏粉矣。”皓大喜，遂問其計。岑昏奏曰：“江南多鐵，可打連環索百餘條，長數百丈，每環重二三十斤，於沿江緊要去處橫截之。再造鐵錐數萬，長丈餘，置於水中。若晉船乘風而來，逢錐則破，豈能渡江也?”皓大喜，傳令撥匠工於江邊連夜造成鐵索、鐵錐，設立停當。
卻說晉都督杜預，兵出江陵，令牙將周旨：引水手八百人，乘小舟暗渡長江，夜襲樂鄉，多立旌旗於山林之處，日則放炮擂鼓，夜則各處舉火。旨領命，引眾渡江，伏於巴山。次日，杜預領大軍水陸並進。前哨報道：“吳主遣伍延出陸路，陸景出水路，孫歆為先鋒：三路來迎。”杜預引兵前進，孫歆船早到。兩兵初交，杜預便退。歆引兵上岸，迤邐追時，不到二十裏，一聲炮響，四麵晉兵大至。吳兵急回，杜預乘勢掩殺，吳兵死者不計其數。孫歆奔到城邊，周旨八百軍混雜於中，就城上舉火。歆大驚曰：“北來諸軍乃飛渡江也?”急欲退時，被周旨大喝一聲，斬於馬下。陸景在船上，望見江南岸上一片火起，巴山上風飄出一麵大旗，上書：“晉鎮南大將軍杜預”。陸景大驚，欲上岸逃命，被晉將張尚馬到斬之。伍延見各軍皆敗，乃棄城走，被伏兵捉住，縛見杜預。預曰：“留之無用!”叱令武士斬之。——遂得江陵。於是沅、湘一帶，直抵廣州諸郡，守令皆望風齎印而降。預令人持節安撫，秋毫無犯。遂進兵攻武昌，武昌亦降。杜預軍威大振，遂大會諸將，共議取建業之策。胡奮曰：“百年之寇，未可盡服。方今春水泛漲，難以久住。可俟來春，更為大舉。”預曰：“昔樂毅濟西一戰而並強齊；今兵威大振，如破竹之勢，數節之後，皆迎刃而解，無複有著手處也。”遂馳檄約會諸將，一齊進兵，攻取建業。
時龍驤將軍王濬率水兵順流而下。前哨報說：“吳人造鐵索，沿江橫截；又以鐵錐置於水中為準備。”濬大笑，遂造大筏數十方，上縛草為人，披甲執杖，立於周圍，順水放下。吳兵見之，以為活人，望風先走。暗錐著筏，盡提而去。又於筏上作大炬，長十餘丈，大十餘圍，以麻油灌之，但遇鐵索，燃炬燒之，須臾皆斷。兩路從大江而來，所到之處，無不克勝。