曹操的死，對曹家政權來說，相當於一場十級地震，因為他人是在洛陽死的，他一死，他帶著的幾十萬大軍頓時陷入群龍無首的境地，而且一部分青州（山東）籍的官兵已經擅自離開洛陽，自己回青州老家去了，各地對曹操暗中不服的勢力，也開始蠢蠢欲動。更重要的是，從曹丕到手下的各級文官武將，都不能馬上習慣沒有曹操的日子，一起陷入了混亂狀態。
當留守鄴城的曹丕和各級聽到曹操去世的消息，第一反應就是聚在一起大哭個不停。這個時候，首先站出來安撫局麵的，是司馬懿的弟弟司馬孚。根據《晉書.司馬孚傳》記載，曹操的喪事是司馬孚負責主辦的，但是在《晉書.司馬懿傳》裏，又說曹操的喪事是司馬懿全權負責的。但是無論如何，曹操的葬禮都是司馬家族的人辦理的，而且是井井有條、絲毫不亂，最終，曹操的棺材平平安安、風風光光的被送回了鄴城，這一次葬禮，在讓世人矚目的同時，也更使得大家對司馬兄弟刮目相看。曹丕繼承魏王王位以後，伺候了他很長時間的司馬懿，也終於正式邁入了他仕途的康莊大道，被封三級侯爵河津亭侯，當了曹丕丞相府的長史（首席副官）。
曹丕雖然已經繼承魏王，但他統治的地域內，仍然是人心惶惶，甚至有謠言說剛剛和解的孫權趁著曹操剛死，要翻臉來進攻。在人心已亂的情況下，曹丕周圍的很多人都認為襄陽、樊城剛剛遭遇大戰，要人沒人，要糧沒糧，肯定堅守不住，當時鎮守襄陽的，仍然是曹仁，大家就建議讓曹仁放棄襄陽，退到中原地區的宛城（河南南陽）。司馬懿表示了不同意見，他說：“孫權最近擊敗了關羽，正要依靠我們對付劉備，絕對不會主動來進攻。襄陽是交通要道，是抵抗敵人的要害之地，絕對不能放棄。”當時，當時到會討論的大臣們都驚慌失措，包括曹丕心裏也沒底，最終還是命令曹仁燒毀了襄陽、樊城這兩座極其重要的戰略要地，可是孫權並沒有打過來，曹丕一聽這個消息，非常後悔，不禁更信服司馬懿的判斷力了。
10月29日，曹丕強迫漢獻帝交出皇帝寶座，登基稱帝，建立了曹魏帝國。司馬懿為曹丕當皇帝賣了很大的力氣，自然又是加官進爵，升任尚書（國務院部長），不久又加封為二級侯爵安國鄉侯，先後升任督軍（軍隊監察官）、禦史中丞（大監察長）。221年，司馬懿被免去督軍官職，升任侍中（皇帝高級顧問）、尚書右仆射（國務院副總理）。
在不斷升官的同時，司馬懿也終於如願以償，成為獨當一麵的領兵大將。在224年2月，曹丕離開首都洛陽，準備對孫權展開攻勢，司馬懿則被升任撫軍大將軍，持有皇帝三級符節——假節，領兵五千人鎮守陪都許昌，同時又享受到了實際上的國務院總理待遇——督後台文書。司馬懿雖然也喜歡升官兒，但是自己都覺得這麼快升遷太招人眼熱，就不肯就職，曹丕語重心長的教導他：“我天天處理這些雜事，沒白天沒黑夜，連休息日都沒有，我讓你當總理不是給你升官，是讓你多替我幹活哪！”
曹丕大舉進攻東吳，臨走的時候，跟司馬懿說：“你看家看的好，我才能打勝仗。好好給我看家吧，這是最重要的責任！”曹丕走了以後，司馬懿既負責內政、又負責供應前方軍事物資，曹丕回師首都洛陽，又給司馬懿寫下詔書說：“以後我東征，你就在西麵看家；我西征，你就在東麵看家。”於是司馬懿繼續留守僅次於首都洛陽的陪都許昌，我們可以看出來，現在的司馬懿已經不僅僅是獨當一麵了，而是成為了曹丕的大內總管。
然而就在公元226年5月，僅僅40歲的曹丕就得了暴病，很快就病危了。臨死的時侯，他把撫軍大將軍司馬懿和另外三個一品大將軍——中軍大將軍曹真、鎮軍大將軍陳群、征東大將軍曹休同時任命為為輔政大臣，負責輔佐當時隻有22歲的太子曹睿。臨死前，曹丕還特別對曹睿說：“以後如果有人說這幾個人的壞話，你絕對不要相信。”
曹睿即位之後，司馬懿被改封為舞陽侯。8月，南方的孫權知道曹丕去世，分兩路大舉進攻曹魏帝國，司馬懿和另一位輔政大臣曹真配合，分別擊退孫權的進攻。12月，司馬懿因為戰功顯赫，由撫軍大將軍再升為驃騎大將軍。公元227年6月，司馬懿被任命為都督荊州、豫州軍事（湖北、中原軍區總司令），駐紮在宛城(河南南陽)，從此正式開始了他作為大軍區司令南征北戰的漫漫生涯。