是時候考慮滅吳大計了。
公元269年，晉武帝司馬炎一口氣任命了三名軍區司令員，分別是：羊祜（hù）都督荊州諸軍事，鎮守襄陽；衛瓘都督青州諸軍事，鎮守臨淄；司馬伷都督徐州諸軍事，鎮守下邳。在這三大軍區司令員中，以羊祜成就最大。
羊祜出身名門望族，母親是名儒、史學家蔡邕的女兒，姐姐嫁給了司馬師，因此與司馬氏也算沾親帶故。他所鎮守的荊州軍區曾是魏、蜀、吳三國爭奪的一個焦點，百姓有時隸屬這個政權，有時隸屬另一個政權。羊祜到任後，采取了很開明的政策，凡是歸降的吳人，想重新回到吳國的，一概聽憑其離開。
由於東吳剛剛發兵攻打荊州，邊界線上戰事十分緊張，軍隊進入一級戰備，日夜巡邏以防不測。羊祜判斷東吳軍隊難有大作為，與其把士兵用於巡邏，不如裁減下來開荒種地。他敏銳地發現，晉軍最大的問題不在於兵力多寡，而是糧食不足。他剛到荊州時，軍隊的存糧十分緊張，隻夠吃三個月。後來他大力發展屯田政策，削減常備軍，精兵簡政，軍糧儲備越來越多，最後竟然可供部隊吃上十年！
雖然身為軍區司令，但羊祜從不穿鎧甲，經常身著輕裘，侍衛也隻有區區十幾人。他總是以一種親善的形象出現在眾人麵前，沒有將軍們慣有的粗魯或殺氣，因此在江漢一帶深得人心。
皇帝司馬炎對羊祜很是信任，多次跟他商議進攻東吳的計劃。羊祜指出，進攻東吳必須充分利用長江上遊的優勢。以前曹操、曹丕南征，每每望長江而興歎，北方騎兵雖驍勇，無奈有大江阻斷南北。自從奪取巴蜀之地後，晉國便控製了長江上遊，可以順流而下，直搗吳國首都。不過，繼承魏國軍事遺產的晉王朝在水師上仍然不是東吳的對手，羊祜認為必須組建一支強大的長江水師，他向司馬炎推薦一個人選：王濬。
王濬曾是羊祜麾下參軍，頗富才華，誌向遠大，羊祜對他非常欣賞。不過王濬有一個毛病，就是生活過於奢侈無度。羊祜的侄兒羊暨認為不能讓王濬有獨當一麵的權力，否則就難以約束了。羊祜說：“濬有大才，將以濟其所欲，必可用也。”他向晉武帝司馬炎推薦王濬出任益州刺史，負責組建艦隊。司馬炎同意了，並加封王濬為“龍驤將軍”，督建戰船。
這是一項浩大的工程。
皇帝下詔解散屯田部隊，用以造船。屯田部隊隻不過五六百人，用這點人造船，不知要造到猴年馬月。別駕何攀便提了一個建議：“應該召集各郡士兵，湊到一萬多人，這樣大約一年時間就能完成任務。”王濬深以為然，打算向朝廷報告。何攀阻止道：“若是朝廷突然聽說召集一萬多人，肯定不會批準。不如先召集人再上報，到時就算朝廷不同意，我們已經開工，停也停不下來。”
自司馬氏上台後，對兵權控製是非常嚴厲的，淮南三次兵變，實際上便是兵權之爭。以鄧艾、鍾會這樣的滅蜀英雄，牽扯到兵權時，司馬氏也是寧可錯殺，不留隱患。王濬若是平庸之輩，肯定寧願用五百人慢慢造船，也不願拿自己的政治生涯冒險。不過，他渴望超越平庸，行事便得超越常規，他采納了何攀的建議，開始廣征諸郡之兵以大造舟船。
王濬的身份是益州刺史，刺史的權力比郡太守要大一點，故而他以州刺史的名義召集各郡軍隊，各郡多數響應。然而，廣漢郡太守卻把王濬派來征兵的從事逮捕下獄，奏報朝廷，彈劾王濬沒有虎符，擅自調兵。廣漢太守明顯屬於那種幹不成事、卻不會放過任何向朝廷表忠心的機會的人，表麵上是國家忠臣，實際上屁事做不出。所幸的是，皇帝司馬炎的胸襟較其父親司馬昭要寬廣，用人不疑，疑人不用，認同了王濬的做法。
為了取得水戰的優勢，王濬從一開始便矢誌建立一支高水平的艦隊，他所造的戰船，船長一百二十步，可以搭載兩千名步兵。在當時，這種船稱得上是龐然大物。為了增加船自身的防禦力，甲板上還用硬木建了堡樓，如同漂浮在水麵上的移動堡壘。這是很典型的中國式戰船，又稱為“樓船”，因為遠遠望去，那分明是一幢幢大樓。移動城堡四麵都有門，外麵的甲板上可以跑馬匹。
晉國在蜀地大舉造戰艦，這屬於軍事絕密計劃。然而，計劃再絕密，也絕難做到滴水不漏。造船要使用大量木材，削下的木片往水裏一扔，就會漂向下遊。吳國建平（今湖北秭歸）太守吾彥發現長江江麵突然浮滿木片，令人打撈些樣本上來，細細分析，得出一個結論：晉國正在上遊地區建造舟師。晉國造舟師的目的有且隻有一個：沿江而下，進攻東吳。
吾彥不敢怠慢，立即將這個重要情報上報給皇帝孫皓，並建議道：“晉國一定有攻吳的計劃，應該增加建平的守備力量，守住要害之處。”孫皓正沉湎於酒色之中，哪有閑心管這事？吾彥無奈之下，隻好自己想辦法。為了防止晉國水師發動突然襲擊，他在長江上搭設大鐵鏈，實施江麵封鎖。