八月，大司马曹休不依计划，迳下皖城深入敌境接应诈降的吴将周鲂，在石亭被陆逊伏击，大败，曹休病死。
关陇抗蜀
太和三年（229年），蜀相诸葛亮第三次出兵攻魏，并占据武都（今甘肃陇南武都区）、阴平（今甘肃文县西北）二郡。太和四年（230年），魏明帝曹决定兴师伐蜀。升司马懿任大将军、加大都督、假黄钺，与大司马曹真一起伐蜀。八月，魏明帝命曹真率主力由长安入子午谷，左将军张出斜谷，司马懿自荆州溯汉水出西城，将兵分三路会攻汉中。司马懿从西城开拓道路，水陆并进，沿着沔水逆流而上，直达朐忍，攻克新丰县，驻军丹口，后遇大雨班师。
诸葛亮北伐
太和五年（231年）二月，诸葛亮率军第四次北伐魏国，包围祁山贾嗣、魏平部，并以木牛流马运输粮草，曹派司马懿西驻长安防御蜀军。司马懿留部将费曜、戴陵率4000人守，自率主力西救祁山。张劝司马懿分兵驻扎雍、两地，以作大军后镇，司马懿不同意。挺进喻麋，对战诸葛亮。
此次战役的结果，不同的史书有不同记载。《晋书宣帝纪》中，司马懿大胜蜀军；但在《汉晋春秋》中，诸葛亮力挫魏军。另外，这时期魏将张之死也有不同的说法，《张传》中，张不听司马懿劝告，主动出击，“诏督诸将西至略阳，（诸葛）亮还保祁山，追至木门，与亮军交战，飞矢中右膝，薨。”；而在《魏略》中却记载是司马懿指挥失当，“宣王使追之，曰：“军法，围城必开出路，归军勿追。”宣王不听。不得已，遂进。蜀军乘高布伏，弓弩乱发，矢中髀。”历史真相究竟如何，尚不能下定论。
青龙元年（233年），安定保塞匈奴大人胡薄居姿职等叛，司马懿派遣胡遵等追讨并破降。蜀军退军后，军师杜袭、督军薛悌都预计诸葛亮第二年麦熟时还会入侵，建议趁冬天调运粮草，解决陇右粮少问题。司马懿认为：“诸葛亮两次出祁山，一次攻陈仓，都受挫而返。即使以后他还会出兵，将不再攻城，而是寻求野战，地点必在陇东，而不会在西侧。诸葛亮常以粮少为恨，回去后必然广积粮草，我估计没有三年的积蓄，诸葛亮是不会贸然出兵北伐的。”
对阵五丈原
青龙二年（234年）二月，蜀相诸葛亮率军十万出斜谷伐魏。四月，诸葛亮至县（位于今陕西宝鸡），进驻渭水之南。司马懿率军渡渭水，背水筑垒阻击。诸将想在渭北与诸葛亮隔水相持，司马懿说：“百姓积聚的粮秣财物都在渭南，这是必争之地。”遂渡渭水背水扎营。
当时，司马懿屯兵渭南，郭淮估计诸葛亮一定会争夺北原，主张先去占领北原，司马懿说：“如果诸葛亮跨过渭水登上北原，就可以连兵北山，断绝陇道，震慑我朝臣民和胡人，此乃国家安危之大患。”
很多人不以为然，但司马懿认为如此，让郭淮屯兵北原。不久，诸葛亮率大军西行，诸将都认为诸葛亮想攻西围。郭淮则认为，诸葛亮虚张声势是要让魏军大举回应，而他的目标是阳遂。夜里，蜀军果然进攻阳遂，因城中早有防备，诸葛亮没能成功。五月，十万吴军攻魏，配合蜀军作战，被满宠所拒。七月，魏明帝曹率兵亲征，吴军撤兵。
群臣认为司马懿正还在西边和诸葛亮重兵对峙，车驾可西幸长安，魏明帝则说：“孙权大军已经撤回，诸葛亮孤军无援、难成气候，大将军司马懿足以抵挡，我没有什么忧虑了。”诸葛亮东进的道路受阻于司马懿，从渭水前进，又有郭淮阻挡，于是移军攻取大散关、陇城等地，回师进攻司马懿。
与司马懿对阵的诸葛亮
八月，司马懿以“坚壁拒守，以逸待劳”的指示，与诸葛亮相持百余日。诸葛亮数次挑战，司马懿均坚壁不出，以待其变。诸葛亮便派人给司马懿送去妇人的服装，欲激司马懿出战，司马懿仍不出战。
为平息部属不满情绪，司马懿故意装怒，上表请战。曹不许，并派骨鲠之臣辛毗杖节来做司马懿的军师，以节制他的行动。诸葛亮一来挑战，司马懿就要带兵出击，辛毗杖节立于军门，司马懿便不出兵。蜀将姜维就对诸葛亮说：“辛毗杖节而至，司马懿不会出战了。”诸葛亮则说：“彼本无战情，所以固请战者，以示武于其众耳。
将在军，君命有所不受，苟能制吾，岂千里而请战邪！”诸葛亮遂分兵屯田，做长久屯驻之准备。司马懿的三弟司马孚也来信问前线军情，司马懿回信说：“亮志大而不见机，多谋而少决，好兵而无权，虽提卒十万，已堕吾画中，破之必矣。”
不久，诸葛亮遣使求战，司马懿不谈军事，问使者：“诸葛公起居饮食如何，一顿能吃多少米？”使者说：“三四升。”然后对问政事，使者说：“打二十军棍以上的处罚，都是诸葛公自己阅批。”经过一番不经意的询问，司马懿对人说：“诸葛亮将要死了。”果然，诸葛亮于当月病故于五丈原军中。
蜀将秘不发丧，整军后退。当地百姓跑来报告，司马懿派兵追击，蜀将杨仪返旗鸣鼓，做出回击的样子，司马懿以‘穷寇莫追’收军退回。当时有