淝水之战后，立下首功的谢安声望如日中天，孝武帝封他为太保。谢安并没有因为自己做了大官就骄傲起来，依然像以前那样专心处理朝政，同时他还注意各方面的关系。桓冲曾经在淝水之战时请求让自己妻子的叔叔做江州刺史，而谢安打算用谢輶，引起了桓冲的不满。淝水之战胜利，桓冲羞愤而亡，战略重地荆州和江州缺少守将，谢玄因为在淝水之战中立了大功，朝野上下都认为这个位置非他莫属。谢安却有着更深一层的考虑：桓冲虽然死了，但是桓石民和桓石虔还各有重兵，西中郎将桓伊还在淝水之战中立了大功，自己任用谢玄固然是众望所归，但却未免让桓氏家族议论。于是，谢安任用桓石民守荆州，桓伊守中流，桓石虔守豫州，平息了桓氏的不满。
谢安击败前秦，分析形势认为北方分崩离析，正是光复神州的大好机会，于是上表请求北伐中原。借着淝水之战的声威，晋军一鼓作气收复了梁州、益州、襄阳。东晋朝廷也认为形势大好，就命谢安都督江、荆、司、豫、徐、兖、青、冀、并、幽、宁、益、雍、梁十五个州的军事，总管北伐。谢玄在谢安的支持下，连克彭城、琅琊、又攻克了冀州、滑台、黎阳等地，整个战局向着有利于东晋的方向发展，然而，就在这个时候，东晋朝廷内部发生了****。
自古云：功高震主。谢安声望日隆，引起了当朝孝武帝的猜忌。早在淝水之战前几个月，正当秦晋双方剑拔弩张、朝廷上下齐心抗秦的时候，孝武帝突然任命才20岁的无能之辈司马道子为尚书事，谢安也是录尚书事，任命这么一个家伙分明就是要分谢安的权。谢安考虑当时的局势，没有反对。那么司马道子这个家伙是什么人呢？司马道子是孝武帝的亲弟弟，这个人虽然出身宫廷，却是目光短浅，毫无本领，在整个淝水之战中一点战功都没有，就是一个绣花枕头。但是，司马道子仗着是皇帝的弟弟，在淝水之战后处处排挤谢安。两个人之间的矛盾不可避免的公开化、尖锐化了。谢安北伐胜利在望，司马道子这个小人怕谢安北伐成功，就在孝武帝面前说谢安的坏话。孝武帝也是一个昏庸无能之辈，只想着自己偏安一隅，听了弟弟的话，连忙把谢安叫回来，又以打过败仗为理由把谢玄手下的第一大将刘牢之召回，陆续撤出了黄河以北的军队，洛阳等地又相继沦陷。谢安有心报国，无力回天，也只好徒唤奈何。
谢氏家族名望上升，原本显赫的王氏家族心存不甘，前文说的王坦之是一个坦坦荡荡的君子，谢安看中他的人品，把女儿许配给了他的儿子王国宝。这个王国宝却是个阴险的小人，谢安看清了他的面目后，只给了他一个小官，王国宝心怀不满。王国宝的妹妹是司马道子的妃子，借着这层关系，王国宝经常在司马道子面前说谢安的坏话。司马道子又把这些话转告给了孝武帝，再加上朝廷上有一些人也在孝武帝耳边说谢安的不是，孝武帝信以为真，对谢安越来越疏远。
谢安为国家立有大功，司马道子和王国宝如此诋毁他，连孝武帝也猜忌谢安，引起了许多正直大臣的不满，很多人为谢安鸣不平，桓温的侄子桓伊就是其中的一个。桓伊善于吹笛，为江左第一，同时也是将才，在淝水之战中立了大功。孝武帝听说桓伊笛子吹的好，就召他来演奏，当时谢安也在座。桓伊吹完一曲后，放下笛子，又请求弹筝，孝武帝答应了。桓伊唱道：“为君既不易，为臣良独难。忠信事不显，乃有见疑患。周旦佐文武，金滕功不刊。推心辅王政，二叔反流言。”歌词的大意是说：当君主不容易，做臣子更难，忠信的事情没有人知道，反而遭到了皇帝的猜疑。当年周公辅佐幼主周成王，管叔和蔡叔反而散布流言诋毁他，后来周成王才知道周公的忠诚。这里桓伊把谢安比作辅佐周成王的周公，而把司马道子等小人斥为和管叔和蔡叔一样的败国之臣，也有讽刺孝武帝的意思。谢安听完，感慨万千，他离开座位，摸着桓伊的胡子说：“使君竟有这样的言语啊！”孝武帝羞愧不已。
羞愧归羞愧，孝武帝这个昏君转眼就把桓伊说的话忘了，在司马道子和王国宝的双重排挤下，谢安不想在朝中呆下去了，他决心交出大权，离开京城。正赶上前秦国内内乱，苻坚来求救，谢安自请领兵去镇守新城，筹划如何救苻坚，孝武帝巴不得谢安快走，立刻批准。谢安离开时，孝武帝为了表示尊重，特意出城为谢安送行，但是两个人的心里都明白，双方的矛盾已经不可调和了。
镇守新城只是谢安的借口，他只想远离京城的是非之地。到了新城不久，谢安染病在床，回建康疗养，于太元十年病逝。谢安死后，东晋朝廷按照安葬大司马桓温的样子安葬了他，后来为了追念谢安在淝水之战中的功劳，追封他为庐陵郡公。
谢安为人恬淡平和，高风亮节，敬仰他的人不用说，就连对他有成见的人都在他死后表示了极大的悲痛。人们一方面惋惜谢安的去世，另一方面又为他的急流勇退表示出了极大的敬佩。事实上，淝水之战后，谢安的权势和声望都达到了巅峰。桓冲病死后，桓氏家族群龙无首，谢安如果趁机打击桓氏，可以说是易如反掌。谢玄、谢石都是谢安的子弟，自然不会反对他。而东晋击败前秦的主力部队北府兵也是谢安一手创建的。这时谢安的实力其实已经超过了当年的桓温，他完全可以先控制军队，再代晋为帝，至少可以杀掉司马道子和王国宝这两个小人。但是谢安不愿意背负这样的名声，更重要的是谢安认为，当时自己虽然形势大好，但是北方的威胁还没有完全消除，万一朝中为了权力发生纷争，淝水之战的成果就要付之东流了。而且谢安忠心耿耿，不愿意看到国家为了自己大动干戈，这一思想也是和他的一贯作风相符合的。
另一方面的原因就是谢安个人的性格原因。谢安这个人情趣高雅，酷爱山水。做了15年的宰相，政治和军事上大事纷至，让他心力交瘁。谢安培养了谢石和谢玄，在谢氏家族衰落的时候又中兴了门庭，已经不用担心家族的利益了。所以，谢安想纵情山水，好好养老。淝水之战后，谢安已经64岁了，平日里他就淡雅冲和，更不屑于和小人计较。因此放弃权力更符合谢安的生活品位。对于权力的得失，谢安自己也没有放在心上。青年时，一次谢安和孙绰等人一起扬帆出海，正好碰上大风。风急浪涌，船上的人都很害怕，惟有谢安一个人吟咏自若。划船的人以为谢安喜欢这种气氛，就划向了更远的地方。谢安不慌不忙的对划船的人说：“你再往里面走，我们还能回去吗？”划船的人这才把船划回了岸边。海上的浪见识过，政治的风浪也经历过的谢安怎么会把司马道子和王国宝这样的小人放在心上。谢安最担心的还是东晋王朝的安危，就在他生病之后还上奏请求调朱序守卫洛阳，谢玄驻军彭城，万一北方有变故，可以东西起兵，收复河山。这更体现了谢安一切从国家利益出发的博大胸怀。
谢安善于审时度势，遇事常设身处地为别人着想。谢安虽然居于高位，却没有高高在上的架子，这也是他不愿意与朝廷发生正面冲突的原因。有一个例子很好的体现了谢安的这种品质。谢安当宰相后，故乡的人经常来找他办事，只要不违反规矩，他都尽力帮忙。一次，谢安的一个同乡刚刚做官期满，回家前来看他。谢安关心的问他：“你有回家的钱吗？”这人说没有，只有五万把蒲葵扇。谢安担心他没钱回家，就挑了一把中号的扇子，自己扇风用。由于谢安名望很高，是士族的领袖。京城的人看见谢安用扇子，都来买扇子仿效他的样子。结果这个人的扇子被一抢而空。谢安于不动声色之中帮了同乡的大忙。设想要是司马道子和孝武帝与谢安冲突起来，他们还会有好日子过吗？到最后受苦的还是天下的百姓，谢安不愿如此，是他的宽厚之处。
谢安受排挤出外之后，在东山大肆的买屋置田，非常奢华。因此有些人讥刺他，这些人没有猜透谢安的真心。当年汉高祖刘邦猜忌丞相萧何，萧何不得已强占民田，以求败坏自己的名声，好让刘邦放心。谢安正是用的这个办法，只不过谢安没有抢占民田，他并不想损坏自己的声誉，只是向朝廷做出一种姿态：我谢安打算优游山水，终老林泉了，不打算掺和朝廷上的事，你们可以放心了。实际上，东晋朝廷对待谢安可以说是薄情寡义，尤其是孝武帝这个昏君。孝武帝年少时接过政权，全仗谢安和王坦之一力周旋，谢安更是以大勇逼退了桓温，不然孝武帝早就被废为庶人了。淝水一战，谢安保住了孝武帝的皇位，避免了东晋人民的苦难。有一副对联称赞谢安说：“关中贤相有王猛；天下苍生望谢安”。王猛是苻坚的宰相，助苻坚统一北方，但王猛再厉害也不过是关中贤相，谢安却是拯救天下黎民的人物！。
就是这样的一位大才，却遇到了不公正的对待。要是换作别人，恐怕早就拥兵自重，把东晋王朝弄个天翻地覆了。但谢安没有这样傲，他审时度势，抽身出局。在掌握大权，形势大好的时候放弃已经到手的一切，需要多大的智慧呀！对于任何人而言都实属不易，谢安却轻描淡写的做到了。正确的分析形势，做出明智的选择已经是难能可贵，但是以大局为重，把自己的得失置之度外，考虑的是国家和民族的利益，这才是真正的大智慧，也是中华民族几千年的民族精魂！