建兴九年(公元231年)，李严走到了他仕途的最后时刻。
这年春夏之交，诸葛亮第四次兵出祁山伐魏，将押运粮草的重任交给了李严。此刻正值雨季，蜀道难行，李严的任务没有按时完成。无奈之下，派人向诸葛亮告知实情，蜀军只好全军撤退。这时，李严的某根脑神经“灵机一动”，推翻了以前的说法——再三言明粮草供应畅通，反说诸葛亮是自作主张，“欲以解己不办之责，显亮不进之愆”（《三国志?李严传》）。一句话，推卸责任，诬陷孔明贻误战机。这一下，弄得诸葛亮是又气又恨又笑又无可奈何，禀报了刘禅。皇帝下诏追查，李严才觉得事态的严重性，索性再上了一本，充当好人，说：诸葛亮率军是假装撤退，目的是“为了引诱敌人与其决战”。诸葛亮也不与之申辩，只是将李严前后几次的书信都递了上去。李严没了辙只好“认栽”。
接着，诸葛亮决定对李严“算总账”，正式上表弹劾，揭露了自从先帝驾崩以来李严的各种行为：自私、自大、懒惰、贪心。最终，李严被赶出了朝廷，贬到梓潼郡为民。
这件事在史书上的记载与《三国演义》中的描写大致一样，不同的是后者描写“李严欺骗诸葛亮说东吴入寇，迫使诸葛亮回军”，按理这应算是艺术加工，却在不经意间提醒了我们：这件事颇有蹊跷之处。李严向来以谋略和军事能力见长，军粮不能按时送到，写信向诸葛亮说明实情，下雨本是天灾，想来通达事理的孔明也不会过于苛责；然而李严却三番五次地推翻自己的说法，一会儿说诸葛亮擅作主张，一会儿说诸葛亮退兵是一计，这到底算哪一头的？一个拥有正常思维的人断然不会这样做，李严不傻，那只有一种解释：利令智昏。
首先，可以从诸葛亮弹劾李严的表章中找到答案：李严的问题已经不是一天了，只是孔明考虑到“大事未定”，才不断对其容忍，在保证原则问题的同时，充分满足了李严对权力的欲望，没想到老李不领情。可见，是诸葛亮的容忍只是让李严肆无忌惮，以为诸葛亮惧怕于他。
其次，诸葛亮数次北伐，除了自己的嫡系，并没有得到蜀汉政权内大部分人的支持，皇帝刘禅也是半推半就的态度，李严以为这是刘禅对诸葛亮的不信任，那么自己也许就有了机会。李严这是聪明反被聪明误：诸葛亮平生阅人无数，对他的纵容，其实仔细想起来都是一些表面文章，一旦要求稍有出格，比如“求以五郡置巴州”，诸葛亮就没允诺，何况他拿司马懿说事儿？（“平说司马懿等开府辟召”——《三国志?李严传》）再者，如果没有诸葛亮治蜀伐魏，刘禅能在CD享乐吗？刘禅需要诸葛亮替他分担国家大事，他是不可能疏远诸葛亮的。李严自己想得太多，于是方寸大乱，前言不搭后语，自取其辱。
据说李严被贬后，常期望诸葛亮再次启用他。这一点在裴松之为《三国志》所著的注中也有提及：诸葛亮曾对李严之子李丰说，“原宽慰都护，勤追前阙。今虽解任，形业失故，……若都护思负一意，君与公琰推心从事者，否可复通，逝可复还也。”什么意思呢？就是说，希望你回去安慰你父亲，闭门思过，只要认了错，你再去和蒋琬说说，让你爹复职，也不是不可能的。”
李严被贬是在建兴九年，三年后，建兴十二年(公元234年)，诸葛亮在北伐前线去世，李严急火攻心发病而死。为何？李严觉得诸葛亮生前都没有再起用自己，死后就更不会有人启用自己了，因此，绝望，绝命。
可见，就算诸葛亮没有病故，究其一生也是不会再用李严的。要问原因？“君与公琰推心从事者”，这不明摆着的事么？李严是诸葛亮亲自上表弹劾的，若想复职，直接与诸葛亮本人沟通就是了，让李丰找蒋琬，岂非托辞？何况，人不会两次踏入同一条河流，“李鳞甲”的传说不可不信哪！
尽管诸葛亮是一个玩弄权术的高手，为了掌控大权，不得不一再打压李严。可事实上，正如前文所言，李严作为与蜀汉政权中新旧两种势力都有交集的人物，他的存在，利大于弊，对于调和矛盾起着很大的作用。考虑到这样一个中立派，肯定是双方争取或是责难的对象，这个人的心态一定要“正”，要经得起诱惑和打击，否则很可能做出极端的事。
应该注意到，就算诸葛亮承认了李严，但是他就可以真正进入CD的中枢部门了吗？现在再让时间回到刘备托孤之后，若李严老老实实地坐守江州，委曲求全，说不定能争取到更好的机会，有朝一日扳回一城（诸葛亮的积劳成疾是迟早的事，依照李严的能力和资历，后发制人，其结果尚未可知）
可惜，李严的底牌摊得太早，又没有过多审视自己的潜在优势，于是，“受九锡”也注定只能是一个传说。