在羊祜上書後的第二年（公元277年），晉軍終於在北方贏得偉大勝利。曾經追隨父親起兵反對司馬氏的文鴦，成為晉帝國的平虜將軍。他仍與年輕時一樣驍勇善戰，統領涼州、秦州、雍州諸兵，大破鮮卑酋豪禿發樹機能，諸胡部落共有二十多萬人投降。此役令河西的鮮卑勢力大大受挫。
除了盤踞秦州、涼州的禿發樹機能（河西鮮卑）之外，東方的鮮卑部落（河東鮮卑）也迅速強大，其中以索頭部落最為強大，首領是拓跋力微。據說拓跋氏的祖先就是漢武帝時代戰敗投降匈奴的名將李陵，他們本來居住在漠北，與中國並不接壤，直到拓跋力微時遷居到樂盛縣，部落逐漸壯大。公元261年，拓跋力微派兒子拓跋沙漠汗前往洛陽，向曹魏帝國進貢，魏國把沙漠汗留下當作人質。六年後，當沙漠汗返回索頭部落時，魏政權已經被晉政權取代。
公元275年，沙漠汗又一次前往洛陽朝見晉武帝，返回途中，卻被幽州刺史衛瓘以種種理由扣下。衛瓘曾經參加平蜀之戰，此人老奸巨猾，連鄧艾、鍾會這樣的名將都栽在他手裏。衛瓘認為鮮卑的勢力崛起得太快，倘若不鏟除，拓跋力微將成為第二個禿發樹機能，到時河西、河東的鮮卑部落聯手，晉國邊關將永無寧日。他決定搞反間計，讓鮮卑人內部自相猜忌、殘殺。他把拓跋力微的兒子沙漠汗扣留後，用大量錢財賄賂其他鮮卑大人，挑撥他們與沙漠汗的關係。
兩年後，衛瓘終於允許沙漠汗返回索頭部落。沙漠汗滿心歡喜，但他哪裏想得到，部落重要人物都被衛瓘收買了。鮮卑貴族們聯合起來，構陷沙漠汗，稱他早已被敵人同化，如果他繼承大統，將有害於部落。這時拓跋力微已是百歲老人，腦袋也不太清醒，對自己的兒子疑心頓起。貴族們趁機落井下石，矯命處死沙漠汗。
不過，拓跋力微很快就後悔了。他本就年邁，再加上內心沉痛，便一病不起。這時烏桓王庫賢煽風點火，對各鮮卑大人說：“可汗（拓跋力微）恨你們讒殺太子，現在他也要殺掉你們的兒子們。”此言一出，諸大人嚇得魂飛魄散。其實烏桓王庫賢隻是被衛瓘收買，故意放出風聲，這些鮮卑貴族們果然中計，紛紛出逃。不久後，拓跋力微去世，他活了一百零四歲，可謂長壽矣。但是，索頭部落經此一折騰，勢力四分五裂，不複當年之盛。
衛瓘大搞反間計，竟然擺平了東部最強的鮮卑部落，皇帝司馬炎不禁眉開眼笑，對他大加嘉獎。
北方局勢大為改觀，征南大將軍羊祜一再強調，當務之急不是北方問題，而是要抓緊時間消滅吳國。此時他已是重病在身，為了說服晉武帝司馬炎，他上書請求入京麵聖，皇帝批準了他的請求。
到了京城後，司馬炎特許他乘坐轎子上殿，不必行叩拜之禮，以表示對帝國名將特殊的尊重與恩寵。為什麼羊祜會受到如此隆重的待遇呢？翻翻羊祜生平經曆，其實他並沒有指揮過多少大戰，但這並不妨礙他成為一流的軍事家與戰略專家。他坐鎮荊州期間，對吳國邊疆百姓廣施恩信，這種攻心戰法，勝過十萬雄師的威力，故而連陸抗都說：“彼專為德，我專為暴，是不戰而自服也。”不過，羊祜贏得晉武帝的尊重，不全在軍政才能，也因他人品極為高尚，從不結黨營私，並且謙虛謹慎，不愛出風頭。比如說，他推薦別人當官，從來不會宣揚，他認為這是為國家選人才，而不是為了讓別人登門拜謝。
謁見皇帝後，羊祜開始兜售他的征吳計劃。他指出，吳帝孫皓暴虐到了極點，現在若果斷發動南征，取東吳易如反掌。倘若孫皓突然死掉，東吳換一位明君，即便有百萬雄師，也未必能跨越長江征服吳國，後患無窮。
對羊祜的分析，晉武帝司馬炎是很認可的。隻是，若發動伐吳戰爭，羊祜自然是總司令的最佳人選，但他現在重病纏身，怎麼辦呢？司馬炎的想法是讓羊祜抱病前往，躺在車上指揮節製諸將。羊祜答道：“攻取吳國，我不一定親自去。我隻希望平定吳國後，陛下謹慎挑選一個合適的人去鎮撫東南。”