從一開始便跟曹操鬥智謀，司馬懿的膽子也忒大了吧。時間長了，曹操當然曉得司馬懿使詐，偏偏他是個愛才如命之人，你不來，我偏偏要請你來。公元208年，曹操已經當了帝國丞相，又一次召司馬懿。他對派去的使者說：“司馬懿要是再耍花招，就把他給抓了。”這下司馬懿沒辦法了，隻得出來幫曹操做事。
作為一個“憤青”，司馬懿為何能得到曹操、曹丕父子倆的器重，一步步登上高位呢？
首先，司馬懿智慧超群，每每有奇謀妙策。
公元215年，曹操征討張魯，奪取漢中，司馬懿審時度勢，認為劉備剛剛以狡詐手段奪取益州，百姓尚未親附，這是消滅劉備的大好時機。他勸曹操急速南下，稱如此必可一舉摧毀敵人，但曹操竟沒有聽，錯失了平定蜀地的良機。後來司馬懿追隨曹操征討孫權，多有良策，深得賞識。司馬懿非但軍事在行，也很有政治眼光，他曾經告誡曹操糧食的重要性，提出“雖戎甲未卷，自宜且耕且守”，曹操采納其議，於是“務農積穀，國用豐贍”。
當時南方的關羽對曹魏乃是一大威脅，可是曹操派去擔任荊州刺史的胡修、南鄉太守傅方都是粗暴驕奢之徒，司馬懿提醒說，這兩個人不適合守衛邊疆，曹操對這個建議未加理會。後來關羽發動北伐，大破於禁七軍，胡修、傅方兩人舉旗投降。關羽的輝煌戰績令曹操大為擔憂，甚至想把東漢首都由許昌遷往河北。這時，司馬懿再獻奇策，他目光如炬，看穿了劉備、關羽與孫權之間的複雜矛盾關係，大膽地做出聯合孫權，說服孫權出兵直搗關羽老巢、斷其歸路的作戰計劃。後來戰局的發展果然如司馬懿所料想的那樣，不可一世的名將關羽落得身首異處的下場，而被圍困的樊城也不戰而解。至此，司馬懿“知兵”的美名便無人不知了。
其次，司馬懿與曹丕的關係非同一般。
自從司馬懿入曹操幕府，曹操就交給他一個任務：與曹丕相往來。曹家有重視文化的傳統，司馬懿博覽群書，曹操有意讓他與兒子多交往，這對後來司馬懿的崛起是很重要的。曹丕能夠擊敗曹植成為魏國太子，想必司馬懿鞍前馬後出力甚多，史書說：“每與大謀，輒有奇策，為太子所信重。”他與陳群、吳質、朱鑠並稱“四友”，其實就是太子黨的四大金剛。
曹丕登基後，司馬懿便時來運轉了。
魏黃初元年，司馬懿被任命為尚書，封安國鄉侯；二年，升遷為侍中、尚書右仆射；三年，封為向鄉侯；六年，任撫軍大將軍，假節，錄尚書事，進入權力核心層。頭銜太多，司馬懿也覺得不好意思，便上書辭謝。皇帝批示說：這不是要給你榮耀，而是讓你替我分憂。
我們可以從一件事上看出曹丕對司馬懿的信任。曹丕親率大軍南征吳國時，司馬懿留守大後方，“內鎮百姓，外供軍資”。我們且來看看曹丕的一份詔書：“吾深以後事為念，故以委卿，曹參雖有戰功，而蕭何為重。使吾無西顧之憂，不亦可乎？”從這份詔書中，我們讀到一些信息：按理說，應該是將軍出征，皇帝留守才對；怎麼變成皇帝出征，將軍留守呢？司馬懿肯定是向皇帝提出過要到前線去，所以皇帝才會說“曹參雖有戰功，而蕭何為重”，就是說，攻城野戰固然也是立功，但像蕭何那樣坐鎮後方，保證後勤補給不中斷，功勞更大。從這裏我們也可以看到，魏文帝曹丕更倚重司馬懿的政治才能，而不是軍事才能。
在另一份詔書中，我們更可以看出司馬懿在皇帝心中的分量：“吾東，撫軍當總西事；吾西，撫軍當東事。”就是說，曹丕若東征，西邊的事就交由司馬懿負責；若西征，東邊的事還是交給司馬懿負責。我在東你就在西，我在西你就在東，咱倆輪著管事，分工合作。
有了這層親密關係，就不難理解為什麼曹丕去世前，會把司馬懿指定為輔政大臣之一了。在三名輔政大臣中，撫軍大將軍司馬懿與鎮軍大將軍陳群都是原“太子黨”四大金剛，這股勢力的崛起，將深遠地改變曹魏帝國的權力格局。
在曹操時代，司馬懿不過是個謀士；在曹丕時代，他已是皇帝的左膀右臂；到了曹叡時代，司馬懿成了手握兵權、獨當一麵的輔政大臣。
孫權想趁機襲擊魏國，不料偷雞不成反蝕把米。東吳左將軍諸葛瑾的進攻在襄陽被司馬懿遏製了，吳將張霸被斬殺。這是司馬懿輔政以來的第一場戰事，他旗開得勝，在戰後改任驃騎大將軍。諸葛亮屯兵漢中的消息傳來，明帝曹叡任命司馬懿都督荊豫州諸軍事，駐紮在宛城，監視吳、蜀兩國的新動向。
這一年（魏明帝太和元年），司馬懿四十八歲，在政壇摸爬滾打多年，他已是越來越成熟，他心思縝密，行事果敢。在行軍作戰上，他奉行《孫子兵法》中“兵者，詭道也”的原則，不按常理出牌，神鬼莫測。他以迅雷不及掩耳之勢擒殺孟達，為魏帝國消除了一大隱患，堪稱其軍事生涯上的代表作。在日後的戰爭中，他將成為蜀軍北定中原的攔路虎，同時也成為諸葛亮的頭號對手。