而羊祜與司馬家的姻親關係，便是其姐羊徽瑜乃是司馬師的第二任妻子，因為這個關係才讓羊祜免於一難。
在司馬師病逝之後，司馬昭執政，為大將軍，羊祜自此平步青雲，屢建奇功，而後被封為車騎將軍，主要對抗東吳勢力。在與東吳的對戰之中，羊祜與陸遜的兒子陸抗產生了友誼，彼此惺惺相惜。不過，羊祜卻沒有因私廢公，依然保持著對東吳的警惕。
當時羊祜認識到：吳國的國勢雖已衰退，但仍有一定的實力，特別是荊州尚有陸抗這樣的優秀將領主持軍事，平吳戰爭不宜操之過急。於是，他采取軍事蠶食和提倡信義的兩麵策略，以積蓄實力，瓦解對方，尋找滅吳的合適時機。鑒於曆史上孟獻子經營武牢而鄭人畏懼，晏弱築城東陽而萊子降服的經驗，羊祜揮兵挺進，占據了荊州以東的戰略要地，先後建立五座城池。並以此為依托，占據肥沃土地，奪取吳人資財。於是，石城以西均晉國占有，吳人來降者源源不絕。羊祜於是實施懷柔、攻心之計。在荊州邊界，羊祜對吳國的百姓與軍隊講究信義，每次和吳人交戰，羊祜都預先與對方商定交戰的時間，從不搞突然襲擊。對於主張偷襲的部將，羊祜用酒將他們灌醉，不許他們再說。有部下在邊界抓到吳軍兩位將領的孩子。羊祜知道後，馬上命令將孩子送回。後來，吳將夏詳、邵頡等前來歸降，那兩位少年的父親也率其部屬一起來降。吳將陳尚、潘景進犯，羊祜將二人追殺，然後，嘉賞他們死節而厚禮殯殮。兩家子弟前來迎喪，羊祜以禮送還。吳將鄧香進犯夏口，羊祜懸賞將他活捉，抓來後，又把他放回。鄧香感恩，率其部屬歸降。羊祜的部隊行軍路過吳國邊境，收割田裏稻穀以充軍糧，但每次都要根據收割數量用絹償還。打獵的時候，羊祜約束部下，不許超越邊界線。如有禽獸先被吳國人所傷而後被晉兵獲得，他都送還對方。羊祜這些作法，使吳人心悅誠服，十分尊重他，不稱呼他的名字，隻稱“羊公”。
對於羊祜的這些作法，陸抗心中很清楚，所以常告誡將士們說：“羊祜專以德感人，如果我們隻用暴力侵奪，那就會不戰而被征服的。我們隻保住邊界算了，不要為小利而爭奪侵擾。”因此，在很長的一段時間裏，晉、吳兩國的荊州邊線處於和平狀態。羊祜與陸抗對壘，雙方常有使者往還。陸抗稱讚羊祜的德行度量，“雖樂毅、諸葛孔明不能過也”。一次陸抗生病，向羊祜求藥，羊祜馬上派人把藥送過來，並說：“這是我最近自己配製的藥，還未服，聽說您病了，就先送給您吃。”吳將怕其中有詐，勸陸抗勿服，陸抗不疑，並說：“羊祜怎會用毒藥害人呢”仰而服下。當時人都說，這可能是春秋時華元、子反重見了。吳主孫皓聽到陸抗在邊境的做法，很不理解；就派人斥責他。陸抗回答：“一鄉一鎮之間，不能不講信義，何況一個大國呢？如我不講信義，正是宣揚了羊祜的德威，對他毫無損傷。”孫皓無言以對。
由此可見羊祜與陸抗的情義之深，隻是，月有陰晴圓缺，任何人或者任何事都不可能完美。
羊祜在邊境，德名素著，可在朝中，卻每遭詆毀。他正直忠貞，嫉惡如仇，毫無私念，因而頗受荀勖、馮紞等人忌恨。王衍是他的堂甥，曾來見他陳說事情，言辭華麗，雄辯滔滔。羊祜很不以為然，王衍拂衣而去。羊祜對賓客說：“王夷甫方以盛名處大位，然敗俗傷化，必此人也”。西陵之戰，羊祜曾要按軍法處斬王戎。所以，王戎、王衍都怨恨他，言談中常常攻擊他。
經過七年的練兵和各項物質準備，荊州邊界的晉軍實力遠遠超過了吳軍，而兩年前吳軍主帥陸抗病死，吳國境內又因為吳主孫皓的高壓統治使各種矛盾日益激化。這表明晉滅吳的條件和時機已經成熟。羊祜不失時機的上疏請求伐吳，奏疏說：“先帝順應天意人心，西平巴蜀，南和孫吳，海內百姓得以休養生息，人心安樂。而吳背信棄約，使邊境又生戰事，國家氣數雖是天定，而功業必靠人為，不滅東吳，則士卒百姓無安寧之日。完成統一大業，也是光大先帝功勳，實現無為而治的舉措。堯伐丹水，舜征三苗，都是以使宇內安寧，停止兵亂，民眾和睦為目的的。當年平蜀之時，天下人都以為應當一並滅吳，而蜀滅至今已十三年，這算一個周期，滅吳的日子應在今天了。