东山再起的李义府依然很红，他的红又持续了数年，到龙朔二年，李义府的红达到了顶点。这一年，李义府做了一件大事：改葬祖父，为其祖父在李渊祖父李虎的陵墓侧营造了一座陵墓，这座陵墓造的相当体面。为了造这座陵墓，三原县令李孝节动用了丁夫和车马，日夜不停，为李义府的祖父造坟。村看村，户看户，群众看干部，干部还看其他干部。在李孝节的带动下，高陵、栎阳、富平、云阳、华原、同官、泾阳等七县的县令也行动了起来，征集民夫和车马加入了为李大人祖上造坟的行列。在这场轰轰烈烈的造坟运动中，高陵县令张敬业勤于职守，任劳任怨，终于不堪重负，过劳死了。坟成之后，王公以下的高官纷纷向李义府赠送奠仪，场面极其宏大，所送葬的羽仪、导从、器服都是穷极奢侈。等到安葬那一天，场面更是惊人，从灞桥到三原七十里间，相继不绝。武德年间已来，葬礼场面之宏大，李义府家数第一。其实，明眼人都知道，哀荣是送给死人的，面子却是送给活人的，众人之所以这么做，只是因为李义府确实很红。然而红又能持续多久呢？李义府能逃得过盛极必衰的俗套吗？事实证明，他一样逃不过。龙朔三年，李义府开始走下坡路，起因是一次谈话。
龙朔三年三月，李治与李义府进行了一次推心置腹的谈话。李治对李义府说：“我听说你的儿子和女婿做事很不检点，做了很多不法的事情，弄得我还要帮他们掩饰，只是一直没跟你说而已。你回去也教育教育他们，让他们别那么干了！“按照常理，李义府这时应该叩头请罪，然后谢主隆恩，然而李义府却没有这么做。李义府脸色突变，面部青筋暴涨，口气生硬地问道：“这是谁跟陛下说的？“李治对李义府的反应颇感意外，有些不快地回应道：“只要我说的是实情就行，你还追问我是谁说的干吗？“令李治更加没有想到的是，李义府居然未做回应，反而做沉思状，晃晃悠悠自顾自地走了。老虎不发威，把你当病猫了！以上纪录来自《旧唐书》和《资治通鉴》，对以上纪录，我有所怀疑，纵使李义府红到了极点，难道他忘记了他只是皇帝面前的一条狗吗？这次谈话的纪录，似有可疑。在我看来，李义府之所以最后会倒台，不是因为他无礼触怒了皇帝，而是因为长孙无忌等人已除，武则天的位置已稳，李义府这样声名狼藉的狗他们已经不需要了，现在到了卸磨杀“狗“的时候了。李义府的倒台同样是因为别人的告发，告发他的罪状主要有两条：一是占卜望气，图谋不轨；二是卖官鬻爵，勒索钱财。
如果李义府继续得到李治和武则天的信任，其实这两条是扳不倒李义府的，可惜此时的李义府已经失去了武则天和李治的信任，因此两顶大帽子扣下来，李义府不倒也得倒了。龙朔四年四月初，李治下令成立李义府专案组，由德高望重的司空李勣担任组长，对李义府的各种罪刑进行审判。数天后，李勣等人向李治报告：所有罪刑，均事实清楚，证据确凿！红了八年的李义府就此倒了，他被从官籍中除名，并流放巂州。巂州即现在的四川省西昌市，那里有新中国的卫星发射中心，之所以把卫星发射中心建在那里，就是因为那里荒凉，人烟稀少。与李义府一起倒台的还有他的儿子李津、李洋以及女婿柳元贞。李治做事也很绝，李义府居然和儿子和女婿流放的不是一个地方：李津流放到振州（海南三亚），李洋和柳元贞流放到庭州（位于今天的新疆），值得一提的是，李义府的流放不是暂时的，而是无期流放。三年后，李治大赦天下，一般的囚犯都得到赦免，而李义府这种无期流放的人则不在赦免之列，终老长安终成一梦，他只能老死在遥远的巂州。不久，李义府忧愤成疾，郁郁而终，享年五十余岁。在他死后，长安城中的一些人才长出了一口气，并开始庆祝，为了这次庆祝，他们已经等了三年。
三年前他们就想庆祝，可是害怕李义府杀个回马枪，现在终于可以踏踏实实地庆祝了，因为那个曾经很红的李义府死了。盖棺定论，这是一个有才无德的人，他的德行遭人唾弃，但他的文才还是有的，他有文集三十卷传于后世，同时还有二十卷《宦游记》，可惜已亡失。都说李义府是“李猫“，其实套用欧洲的谚语，他只是替人火中取栗的“猫爪“而已。八年后，李治再次大赦天下，李义府的妻子和儿子得到赦免，回到洛阳。后来武则天念及李义府在永徽年间拥立有功，追赠其为扬州大都督。值得一提是，李义府一家与武则天的纠葛并没有就此结束，他们的纠葛一直延续到武则天生命的最后一刻。在武则天生命的最后一年，她已经病重，张柬之等人发动“玄武门之变“，诛杀武则天宠幸的张易之兄弟，逼迫武则天让位于太子李显。在这个过程中，出力最多、身先士卒的便是李义府最小的儿子，左羽林将军李湛。当武则天看到李湛时，惊讶地说道：“你就是诛杀张易之的那位将军？我待你们父子不薄，何至于走到这一步？“然而，到了这个时候，武则天说什么也没有用了，她已经落到了李湛的手里，从此直到最后病逝，她一直处于李湛的监视之下。父亲李义府拥立有功，儿子李湛兵变有功，世事真是无常。