话说街亭失守后，诸葛亮知道此次北伐大势已去，便下令全线撤退。为防魏军乘势追击，他把关兴、张苞两员小将唤到帐前：“你们二人各带三千人马，在武功山小路两侧布置疑兵。如果魏军来到，敌众我寡，切不可战，只大声击鼓呐喊，用疑兵计吓退他们即可。然后，急奔阳平关，撤回国内。”
又把张冀叫来布置：“引部分军兵，快速修理剑阁通道，以为大军准备退路。”
然后传令：大军悄悄收拾行装，分别从各自驻地快速撤回国内。
诸葛亮的中军营地现在西城县内，这是个弹丸小城，易攻难守。待诸葛亮把身边人马分派出去执行紧急命令之后，城中就近于空地了。正要拔寨撤离，忽然十几匹马飞跑进城来，马上士兵大汗淋漓、气喘吁吁地报告：“司马懿亲率十五万大军，已向西城扑来，而且马上就要到了！”
这时，诸葛亮身边只剩下一些文官，连一员武将也没有。土兵也大多派出去了，只留有两千老幼病残，根本无法作战。
众官员听到这消息，一个个吓得面无血色，一句话也说不出来。很明显，战不能战，逃也逃不掉。此地路径狭窄，唯一大道已为司马懿占住。再加上辎重行李多，马匹车辆少，逃不出几里，就会被魏军铁骑追杀殆尽。
诸葛亮也十分紧张，忙登上城楼向外望。果然，西北方向尘埃冲天蔽日，已隐隐有大军奔走声如沉雷般动地而来。尘头起处更不时闪现魏军旗号，招摇挥动。
诸葛亮稍一沉吟，马上传下命令：把城内所有旗帜全放倒，藏匿起来。城内士兵，各自隐在驻地房舍、围墙内，不许乱动乱叫，如有违令不遵者，立斩！然后，又下令：大开东南西北四面城门，每一门前，派二十名老少军兵打扮成老百姓模样，洒水扫街，不许神色慌张、举措不当。如果魏军冲到城前，也不能退入城内，仍要一如既往。
众人不解其意。
诸葛亮微微一笑，胸有成竹地说：“我自有退兵之法，你们不必惊慌。”说罢，披一件印有仙鹤图案的宽大长衫，戴一顶绸布便帽，让两个小童抱着一张琴、一只香炉，随他登上城楼，靠着楼上栏杆端端正正地坐下，点燃香。然后，闭目养了会儿神，再缓缓睁开眼，虚望前方，安然自得弹起琴来。
这时，司马懿统领的大兵已来到城下。先头部队见到这种情形，都不敢贸然前进，急忙向司马懿报告。
司马懿不相信，以为部下看花了眼：诸葛亮怎么打扮成道士模样，不领兵拒敌，反而悠闲地在城头弹起琴来？于是命令三军暂且停止行动，自己则飞马跑到城下，远远观望。
果然，城楼上诸葛亮笑容可掬地端坐，在袅袅上升的香烟间，旁若无人、安然自得地正沉浸在自己所弹奏的琴音中。他左边的童子，手捧一把宝剑；右边的童子，则拿着一把拂尘。城门口处，有二十余老少百姓正低头洒扫街道，有条不紊，不惊不慌。
司马懿看了许久，听了很长时间，无论从对方人物的表情动作还是诸葛亮所弹出的琴声中，都看不出丝毫破绽。
其子司马师道：“我们应即刻冲杀进去，活捉诸葛亮。他分明是故弄玄虚，西城肯定是座空城。”
其他将士也纷纷要求进兵攻城。
司马懿凝然不动，仍静静谛听。忽然他神色一变，露出紧张模样，忙下令：“后队改作前锋，先锋变为后队，马上撤退！”
众人不解：眼前并没有什么异常情况。
司马懿怒道：“马上撤退。违令者斩！”
众将士狐疑不明，却只好遵令撤退。
直到撤离西城远了些，司马懿才心有余悸地解释：“诸葛亮这个人和我打过多年仗了。他一生做事十分谨慎，从不做没把握的事，更甭说干冒险的事了！今天大开城门，故意显出是座空城，让我们白白拿走并轻易把他捉住，这里就肯定有埋伏，是个骗局！我军若贸然轻进，必中其计。”
司马师问：“父亲一直凝听静立，后来并无动静，您为什么突然撤军呢？”
司马懿冷笑：“当统帅、做大将的人，必须善于观察天地之间的运行变化，了解人间世上的各种知识。我听到诸葛亮琴音，初始平和恬淡，却突然昂扬激越，渗出一股杀机。分明要动手、出兵了！再不走，难道让他围住，四面挨打不成？”
司马师及众将觉得有理，但仍不十分信服。不料，才走不远，刚进入武功山，猛听得山坡后杀声震天，鼓声动地，伏兵顿起。众将大惊。司马懿道：“刚才若不及时撤退，必中其计了。”话音未落，只见旁边大道上一军杀来，旗上大字：“右护卫使虎翼将军张苞”。
一见是西蜀有名战将、当年威震寰宇的张飞的儿子打杀过来，魏兵心惊胆战，纷纷弃甲抛戈而逃。
逃不多远，山谷中又喊杀声起，鼓角喧天，尘埃万丈。一杆大旗上写着：“左护卫使龙骧将军关兴”。魏兵一见是关云长之子，更是魂飞魄散，哪敢接战！
本是山地，喊声杀声在谷中回荡，似乎漫山遍野均有蜀国兵马。烟尘大起，蔽日遮天，内中旗帜招展，刀枪闪耀，更似乎是天兵天将！
魏军不敢久停，忙丢掉辎重粮草，仓皇而逃。
张苞、关兴也不追赶，只将魏军丢弃的辎重物资拣起，迅速撤退了。再说西城中的诸葛亮，见司马懿带兵急忙退去，轻轻长吁一口气，用手拭了额头上的冷汗，笑了起来。
诸葛亮笑道：“兵法云，知己知彼，方可百战不殆。司马懿知我一生谨慎，从不弄险，所以见今天这情况，就判断我在用计、骗他入城。所以反而慌忙退走了。而我知司马懿了解我的一贯作风，所以便借用这种心理，乘机算计了他。也是知己知彼才敢如此啊！若换上司马昭或曹操统兵，我绝不会如此的。”众人叹服。
“不过，司马懿也确是知我之人。如果不是实在没别的办法，我也不会用这险计的。实在是万不得已呀！”诸葛亮道。
众人佩服得五体投地，又后怕不已。
司马懿退兵，一直退回街亭，和曹真的大军汇合在一起时，才放下心来。而此刻，蜀国各路军已安然无恙地撤回本国了。司马懿于是又带一支人马来到西城，问及当地居民，才明白自己“聪明反被聪明误”，误中诸葛亮之计。当得知当时诸葛亮所处的危险境地，他的所作所为及张苞、关兴其实只有少数人马，虚张声势而并不敢真正交锋时，不觉由衷叹赞：“诸葛孔明之才，我不如也！”
诸葛亮斩了马谡，即写奏表给刘禅，自动请降职三级。为了尊重法令，刘禅把诸葛亮降职为右将军，仍教他负丞相的责任，并派费祎到汉中传达命令。费祎怕诸葛亮羞愧，见了先祝贺说：“蜀中人民听说丞相获得四县，非常高兴。”诸葛亮变了脸色说，“这是什么话？得了又失掉，等于没有得到，你以这话来向我道贺，真使我惭愧。”
费祎又说：“最近听说丞相得了姜维，皇上非常喜欢。”诸葛亮生气地说：“兵败回来，不曾夺得半寸土地，这是我的罪过。得了一个姜维，对于魏国有甚损失？”费祎又问：“丞相现在带领雄兵几十万，还可以再讨伐魏国吗？”诸葛亮说：“过去大军驻扎在祁山、箕谷的时候，我兵多于对方，还不能取胜，可见兵不在多，而在于主将是否会用。现在我想缩兵减将，闭门吸取教训，思考下一步改进的方针。否则，即使兵多，又有何用？从今以后，谁有治国的好主意，可以多多指出，并及时责备我的错处，事情就可以做好了。”费祎等人听了，都十分佩服。
诸葛亮于是在汉中，加紧制造攻城渡水的器材，聚集粮草，准备战船，部署下一步的战斗计划。