誰知公孫淵十分貪心，又想背叛魏國。幽州刺史毋丘儉帶著詔書讓公孫淵入朝，公孫淵竟發兵攻打毋丘儉。毋丘儉寡不敵眾，退回幽州。公孫淵自稱燕王，多次侵犯魏國邊境。毋丘儉上疏請求支援。太尉司馬懿為了討伐公孫淵一事，奉詔進入都城，拜見曹叡。曹叡問他如何作戰，司馬懿說要四萬兵馬就能將他打敗。曹叡問：“你料想公孫淵會采取什麼行動？”司馬懿回答：“公孫淵如果棄城逃走，就是上計；占據遼東，抵抗大軍，是中計；堅守襄平，便是下計，必會被我擒住。”曹叡又問：“你認為公孫淵會采取哪一條計策？”司馬懿說公孫淵隻是狡詐，不懂用兵，定會采用下計。曹叡問大軍往返需要多長時間，司馬懿說去需要一百天，攻城需要一百天，返回需要一百天，中間還需要休息六十天，大約要用一年時間。曹叡聽到此話，心中歡喜，便讓司馬懿帶兵前去。
公孫淵聽說司馬懿出兵討伐，倒也驚心，派人向吳國稱臣，乞求支援。孫權聽從謀臣羊衜等人的計策，決定表麵上發兵支援，暗中乘機攻打。那時司馬懿率兵直指遼東，公孫淵令部將卑衍、楊祚分別率領幾萬人屯兵遼隧，堵住司馬懿。司馬懿令胡遵為先鋒，領兵挑戰。公孫淵令楊衍把守營寨，自己出去交戰，被胡遵殺退，從此堅守不出。司馬懿笑著對眾將說：“公孫淵不與我作戰，是想等我們沒有了軍糧，自己退回。我豈會讓他如意？他的士兵多在這裏，老巢必定空虛，我們不如進攻襄平，一舉將他打敗。”司馬懿令部下舉著旗幟，假裝南行。卑衍等人全部向南追去。司馬懿卻悄悄渡過濟水，向北直奔襄平。卑衍等人察覺後，調頭向北，卻被司馬懿的伏兵殺得七零八落，逃往首山。司馬懿的部下緊追不舍，卑衍戰死，楊祚投降，司馬懿順利圍攻襄平。公孫淵接連戰敗，退回城中。
當時，秋雨連綿，遼水暴漲，地上水深三尺，司馬懿的部下行動不便，都想將營寨遷移。司馬懿下令軍中，敢說遷移者，立斬不赦。都督令史張靜進帳請求，被司馬懿斬首，其他將士都不敢再提此事。城中的士兵見司馬懿的營寨被水淹沒，心中歡喜，趁機出外打柴割草，牧牛放馬。陳珪請求出兵截殺，司馬懿卻不肯聽從。陳珪不解地問：“太尉以前進攻上庸時，日夜兼程，所以能斬殺孟達。如今遠道而來，反而按兵不動，究竟是什麼用意？”司馬懿笑著說：“孟達士兵少糧食多，我軍糧食少士兵多，如果不出其不意，怎能取勝呢？如今敵軍兵多，我軍兵少，敵兵饑餓，我軍糧草充足，何必急著攻打？現在應任由他發生內亂，然後再領兵攻打，定能一舉將他們殲滅。如果掠奪他們的牛馬，就是讓他們向遠處逃跑，這樣反而不妙。”陳珪聽了，佩服不已。
不久，天氣轉晴，司馬懿分兵圍攻襄平，守兵死傷無數，並且城中因缺少糧食，無法支撐，隻得派人求和。司馬懿將來使殺掉，傳令讓公孫淵親自到營中投降。公孫淵無奈，又讓親信衛演前去乞降，表示願意送兒子做人質。司馬懿憤然道：“兩軍作戰，能戰就戰，不能戰就堅守，不能堅守就逃走，不能逃走就投降，不能投降就死，何必送兒子做人質？”說完將衛演遣回。
當晚流星劃過天空，長達數十丈，從首山東北墜落在襄平城東南，公孫淵等人都很驚慌。恰好衛演返回，稟報說司馬懿不接受投降，公孫淵隻好帶著兒子公孫修等人從南門逃走。司馬懿早有防備，提前讓先鋒胡遵屯兵梁水，等到公孫淵父子逃出，立即將他們擒獲。司馬懿又攻入城中，抓獲公孫淵的族人及將士七千多人。司馬懿下令將這些人全部斬首，並把公孫淵的人頭送到洛陽。公孫淵的叔叔公孫恭被公孫淵囚禁，司馬懿將他釋放，總算為公孫家保留下一線血脈。此外又下令凡中原人流落到遼東的，全部準許他們回鄉。遼東就此平定，司馬懿班師回朝。司馬懿在途中接到聖旨，令他回去鎮守長安。走到河內時，朝中卻派人前來，叫他速速趕往洛陽。