蜀汉巩固了在西南地区的统治以后，为了实现国家的统一，在公元228年，发动了北伐曹魏的战争。孔明挥泪斩马谡的故事，就发生在这次战争后期。
马谡，字幼常，是刘备在荆州时，伊籍向他推荐的谋士。此人天资聪颖，自幼熟读兵书，颇知兵法，但恃才自傲，不能谦虚待人。刘备在白帝城临终托孤时，曾对诸葛亮说：“我看此人，言过其实，不可大用，要深入考察。”虽然诸葛亮当时点头称是，但未改变对马谡的好评，而且在刘备死后更加器重他。
魏国皇帝曹丕死后，曹叡（ruì）继位，任命司马懿为骠骑大将军，统率雍州、西凉等州的兵马。诸葛亮知道他善用兵，想先发制人讨伐他。但马谡认为，蜀军南征凯旋，亟待休整，不宜劳师远征，不如采用反间计，散布司马懿要废新君、另立皇帝的流言蜚语，使曹叡怀疑他，不信任他，甚至杀掉他。诸葛亮采用反间计以后，曹叡果然怀疑司马懿谋反，剥夺了他的兵权。这件事又增加了马谡在诸葛亮心目中的地位。
当诸葛亮平定南方后，回师北征要攻取长安时，曹叡知道自己误信反间计，又起用司马懿率兵迎战蜀军。
当时秦岭之西有一条路，地名街亭，靠近它有个列柳城，这两个地方都是汉中咽喉，兵家必争之地。在部署进军路线时，司马懿对部将说：“我军直接攻打街亭，拿下这个地方，就离阳平关很近，可以切断蜀军粮道，蜀方陇西一线就难守住。蜀军一定会赶忙撤回汉中，我军把守各个小路要塞，蜀军无粮，月内必乱，诸葛亮就可被我军活捉。”
诸葛亮知道司马懿率兵前来迎战，料定他会来取街亭，决定增兵防守。他在营帐中问：“谁敢领兵去守街亭。”马谡立即说：“我愿意去！”诸葛亮见是马谡答应，心里满意，但仍严肃地说：“街亭虽小，事关重大，如果街亭失守，我们的大军就算完了。你虽然深通谋略，但那个地方无城池，又无险阻，把守极为困难。”
马谡很自信地说：“我自幼熟读兵书，颇知兵法，一个小小的街亭岂能守不住？我敢立军令状，如果守不住街亭，杀我全家！”
诸葛亮虽然同意马谡去守街亭，让他领两万五千精兵前往，但仍不放心，又叫大将王平去协助他。诸葛亮说：“你生平谨慎，可要小心把守街亭，扎寨一定要在要道上，使魏兵不能偷过。凡事都要商量，不可轻率决定。如能确保街亭，可算攻取长安第一功。千万小心！”
诸葛亮命令两人领兵去后，反复思考一番还是放心不下，又派高翔和魏延领兵去接应他们，以防万一，对各种可能发生的情况，都做了说明，这才稍微放心。
马谡到街亭看地形以后，感到好笑：“丞相为什么那么多心？像这么偏僻的山野地方，魏军如何敢来？”王平说：“丞相再三嘱咐，要小心防守，尽管魏兵可能不敢来，但还是在五路总口扎寨为好。应命令将士赶快砍树作成栅栏，作为长期防备。”马谡说：“要道哪里是扎寨地方？你看旁边有座孤山，异常险峻，林木遍地，是个天然屯兵的好地方。”
王平极力反对说：“如果在要道上扎寨，筑起城垣，魏军纵有十万也休想越过。要是屯兵山上，魏兵突然杀来，四面围住，街亭就难保住。”马谡大笑，说他不懂兵法：“兵书上说过：居高临下，势如破竹。如果魏兵敢来，我就杀他个落花流水，有来无回！”王平耐心地劝说：“我多次随丞相出征，受益很多，眼前这座山是个孤立无援的绝地，如果魏军四面围来，断绝水道，我军会不战自乱。”
马谡依然不听，继续说：“你不懂兵法。孙子说过：‘置之死地而后生’，如果魏兵切断水道，蜀军士兵就会以一当十，以十当百，拼命死战。我熟读兵书，丞相很多事都要问我，你别妨碍我，别再争论了。”
王平见无法说服马谡，只好说：“如果参军坚持要在山上扎寨，请给我一部分人马，我到山的西面扎个小寨，好与你互相呼应，万一魏兵来攻，可以互相支援。”
马谡不肯分兵给他。但就在这时，山中居民蜂拥而来，说魏兵大队就要冲杀过来。马谡见王平要走，很勉强地说：“好吧！你不愿听我的命令，我给你五千人马自己去扎寨吧！等我打败了魏军，你在丞相面前可别争功！”
王平在离山十里的地方扎了一个小寨，并画成图本，派人速送诸葛亮，报告马谡不听劝说，坚持扎寨山上的情况。诸葛亮一见图本，知道马谡放弃要道，占山为寨，不禁拍案大惊：“马谡无知坑害了我军！”他对左右的人说：“如果魏兵四面包围，断了水源，不要两天，我军不战自乱。如果街亭失守，后路切断，如何安全撤退？”正在诸葛亮着急时，有人来报紧急军情：“街亭失守！”诸葛亮气得捶胸顿足，叹气说：“败局已定，大势已去，都怪我用人不当，过错真大啊！”他只好采取紧急措施，应付突然事变，命令蜀军先撤回汉中。
原来司马懿决定直取街亭以后，立刻派他的儿子司马昭带兵察看了前路情况，知道马谡未在要道扎寨，而是据孤山防守，立即调兵四面包围街亭，切断水源，蜀兵果然不战自乱，无法坚守，三天之内司马懿就轻易地夺取了这个战略要地——街亭。
马谡与王平败回汉中，诸葛亮先要王平入帐问话，责问他为何不劝阻马谡。王平只好将自己如何劝说，马谡顽固坚持己见和作战经过详述一遍，并说：“丞相不信，可问各路将领。”
孔明命王平退下，传马谡入帐。马谡知道违了军法，无法活命，自己缚了自己，跪在帐前。诸葛亮一见到他，脸色立变，责备他说：“你自命饱读兵书，熟知兵法，我多次告诫你，街亭是我军根本。你以全家性命担保，接受重任。你如果听从王平劝告，就不会有此结果。我如果不严明军纪，怎能服众？你今犯法，不要怨我。你死以后，你家老小生活我会安排照管。”然后诸葛亮命令将马谡推出斩首。
突然，参军蒋琬从成都来见诸葛亮，见要斩马谡，连忙入帐为他说情：“从前楚国杀了名将成得臣，晋文公高兴。现在天下未定，用人之际，杀去谋臣，岂不太可惜了！”
孔明泪水盈眶说：“历史上孙武能战无不胜，无敌于天下，就在于法度严明。现在天下纷争，战争方起，如果法纪废弛，如何打仗？马谡死罪难饶，一定要杀！”
一会儿，武士将马谡斩首，献上首级，孔明见了，又痛哭不停。蒋琬深感纳闷不禁问道：“马谡已经斩首，丞相为何痛哭？”
孔明说：“我不是哭马谡之死。我想起先帝在白帝城托孤时叮嘱我：‘马谡言过其实，不可大用！’今天果然如此。我深恨自己没有知人之明，想起了先帝，因此痛哭！”
大小将士听诸葛亮这样一说，都难受得落泪。