如前所述，諸葛亮和司馬懿在演義中頻頻過招隻不過是演義家的虛構，實際上，司馬懿的露麵是在諸葛亮第二次北伐之後。
蜀漢建興六年，曹真出任魏國大司馬，並積極建議曹睿主動出擊蜀漢，以解決西南軍區的防務，於是曹魏首度南征蜀漢。這推翻了諸葛亮在孫權稱帝時所說的“孫權無力渡長江，猶如曹魏無力渡漢水”的預測。正是在這個時候，一直在東線荊、豫兩州防衛的督軍司馬懿被借調而出。
由於連續一月之餘碰到大雨，曹真的南征軍不戰而歸。曹真也因此一病不起。臨死之時，他向魏主曹睿舉薦司馬懿，稱“非仲達不足以救國家”。於是，曹睿任司馬懿為大司馬，並囑咐他：“西方事重，非君沒有可托付的人。”就這樣，司馬懿抵達長安，開始著手編組對付諸葛亮北征的軍團。
司馬懿“內忌外寬，善於權變”。司馬家本是名門望族，而司馬懿本就野心勃勃，隻是他城府極深不輕易外露，所以曹家三代都未曾發覺他的野心，反而因為他的智慧和膽識而加以重用。至於曹真薦其為大司馬，則主要是想依靠司馬家的聲望，來鞏固曹氏政權。
既然司馬懿早有篡位之心，那麼在對付蜀漢政權方麵，他與曹氏政權的態度就有微妙的區別。一方麵，隻有排除蜀漢，才能從大局上穩固司馬氏的權勢；另一方麵，曹氏政權重用司馬氏，主要是看重其在對付蜀漢方麵的能力，所以，司馬懿暫時還不能一舉掃除諸葛亮的北伐軍。正是基於這種原因，再加上司馬懿考慮到諸葛亮遠征軍的糧草供應不足，所以，司馬懿南征的根本策略，就是以靜製動，堅守不出。建興九年，諸葛亮的第三次大規模北伐行動展開了。雙方對陣於渭水河畔。在經過上邦戰役的初次交鋒後，司馬懿便在渭水河畔構築防衛營寨，據險而守，以消耗諸葛亮遠征軍的糧草。當時，司馬懿率領數倍於北征軍的大軍，卻強忍著不進行決戰，隻憑這份堅毅不拔的耐力，就足以顯示他雄霸一方的豪傑本能。
諸葛亮指揮北伐軍團攻上邦，試圖引誘司馬懿出戰。然而，司馬懿深知諸葛亮的意圖，所以頂住內部壓力，堅守不出。最後實在迫於內外壓力，他才一方麵派出張郃去解上邦之圍，另一方麵率主力向諸葛亮挑戰。不過，他隻不過是靈蛇出洞一般，在遭到魏延軍團的強勢攻擊之後，一伸即縮，再次撤回陣地堅守。
諸葛亮當時早已由於戰線拉得太長而出現嚴重的糧草供給困難，偏偏這時後方出現動蕩，負責運送糧草的李嚴逐以之為借口，假傳聖旨，希望諸葛亮撤軍。諸葛亮“內外交患”，隻得緊急撤回後方。不料魏將張郃不聽司馬懿的勸告，率軍追擊蜀漢軍隊，反遭埋伏，死於損益連弩之下。這成為諸葛亮此次北伐的惟一收獲。
諸葛亮撤回後方，方知李嚴假傳聖旨，於是他上表後主，撤除了李嚴的所有職權，將其廢黜為平民。
時隔三年之後的建興十二年，諸葛亮再度北代，又和司馬懿對陣於渭水兩岸。這一次，他一方麵利用新發明的“流馬”運輸糧草，另一方麵又在駐軍的五丈原屯田產糧，拉開了長期對峙的陣勢。然而，麵對司馬懿的“免戰牌”，諸葛亮深感焦慮不安。
為了引誘司馬懿出戰，諸葛亮打扮成一副羽扇綸巾的模樣，坐著自製的木頭車，改用侍童作護衛，完全解除武裝，頻頻出現於前線陣地，想以此激怒曹魏士兵。然而，司馬懿當時已經完全控製住曹魏軍的動向，因此，他嚴禁士兵們有任何行動。對於蜀漢方麵的進攻，他隻是以箭還擊，士兵們根本不離開營寨一步。
諸葛亮束手無策，茶飯不思，身體狀況日益惡化。無奈之下，他幹脆派人送一套婦女的服飾給司馬懿，譏諷他如婦人般沒有膽量。
然而，司馬懿對於諸葛亮的譏諷仍然無動於衷，反而從諸葛亮派去的使者口中了解到諸葛亮的健康狀況，於是對將士們表示：“對峙的時間不會太久了，諸葛孔明食少事繁，不可能再撐太久的。”
果然不出司馬懿所料，時隔不久，諸葛亮病逝於五丈原軍營中，北伐軍再次無功而返。司馬懿出於不可告人的目的，所以沒有盡全力追擊蜀漢退兵。在上演了一場“死諸葛亮嚇走生仲達”之後，司馬懿自嘲說：“我能料生，但哪能料死啊！”於是蜀漢軍得以安全撤退。
諸葛亮和司馬懿都屬文人出身的大將，因此他們都比較遵守兵法原則，甚至到了一板一眼的程度。然而，諸葛亮從根本上就輸給了司馬懿。中國兵法思想的主旨是：“兵不頓而利可全”、“不戰而屈人之兵”，以保全為首要問題。司馬懿一開始所站的高度，就是諸葛亮所望塵莫及的——他的真正意圖，是通過與諸葛亮的戰爭以保全司馬氏集團的實力。司馬懿從保全自己的實力出發，堅守不出；同時又稱讚諸葛亮乃“天下奇才”，給曹魏集團放出煙幕，為自己不全殲諸葛亮的北伐軍找出一個無懈可擊的借口。