见过的几幅谢安画像，无一例外的，戴着隐士的头巾，目光散淡而清澈，表情沉静如水，似乎没有什么能惊扰他，似乎也没有什么能提起他的兴趣。就谢安的本性而言，是极不愿意出去做官的。扬州刺史庾冰强行请谢安出来做官，谢安无奈，在他手下做了一个月的官之后，托病辞了官，在会稽的东山过起了隐居生活。朝廷多次请他出来做官，他都没有答应，不少大臣心生不满，上书要求禁止谢安出来做官。谢安根本就不在乎，照样优哉乐哉的。
谢安年少时，名声大振，名士如王导、桓彝都很器重他。如果想做官，谢安占据有有利的条件，可谢安并不在乎成不成名，做不做官，只想实实在在地过自己的小日子。当时，谢氏家族在朝中任职的人比较多，像谢尚、谢奕、谢万，个个位高权重，也不需要谢安为谢氏家族做些什么。谢安就乐得逍遥自在，养了一批家伎，教她们唱歌跳舞，吹笛弹琵琶。谢家兄弟门前车如流水，马如飞龙，谢安的门前门可罗雀，庭阶寂寂。谢安的妻子曾开玩笑说：“大丈夫难道不应该这样吗？”谢安却不以意，对谢安来说，只要自己愿意，出相入将，只是举手之劳的事。
其实隐居是有条件的，不须为肚皮犯愁，重要的一条，还得有才。在人们的心目中，认为有才的人，便要去做官，有官不愿做，那才叫隐，像我辈，便不够隐的档次。现在，管他有才无才，人们争着去做官，也就没有隐士了，至少我没有听说过当今的谁谁谁是隐士，提起隐士二字，在今天渐渐地成了一个历史名词，是前朝旧物了。
后来，谢尚、谢奕相继病死，谢万与鲜卑战于下蔡下，刚愎而自用，傲慢而无礼，引起官兵的激愤，差点人头不保，被皇帝贬为废人。谢氏家族的人栖栖惶惶，不可终日。在家族利益和个人利益之间，谢安为避门户中衰，不得已放弃了隐居的初衷，有了出来做官的想法，权臣桓温趁势请谢安做了自己的司马。那一年，谢安已是四十一岁。
谢安的隐，不同于陶渊明的隐，陶渊明是不为五斗米折腰，谢安是心性使然，虽在官场上，内心里仍有归隐的愿望，他的日常生活仍和归隐时一样，家里养了戏班子，公务之余照样的吹拉弹唱，为这事与他同朝为官的王坦之苦劝过多次。
谢安处理政务既讲究策略又有手腕，量才而用，让上上下下各守其位，老谋深算的桓温也不得不对他有所提防，总想找个机会敲打敲打谢安。有人给桓温送来几味中药，其中有一味药是远志，奸滑的桓温看了看谢安问：“这药又叫小草，为什么一味中药有两个名字呢？”在座的郝隆应声而答：“这很容易理解，这种药在山中就叫远志，从山中出来了就叫小草。”郝隆有意作答，语带机锋，咄咄逼人。饶是见过风雨经过世面的谢安，也免不了一脸的羞愧，无语而对。但谢安并不是一个纨绔子弟，空有一个臭皮囊，他是有真才实学的，桓温有意废帝自立时，谢安会同王垣之临危不乱，把朝廷内部的一场****消弥在萌芽之中。
桓温死后，谢安辅政之初，京都里的士兵、仆役跑了很多，有人请求对逃跑的人进行清查追捕，谢安不同意，说：“如果不允许这样的人存在，还叫什么做京都呢？”京都就是京师，晋代为了避司马师的讳，改京师为京都，《公羊传》如是说：“京师者何？天子之居也。京者何？大也。师者何？众也。天子之居，必以众大之辞言之。”京师，不仅意味城大，也意味着人多且杂，所谓三教九流，无不具备。谢安不想在多事之秋弄得人心惶惶，在京师里制造混乱，自乱阵脚。或许，谢安的言外之意是其僚属不能领会的，大多只是佩服谢安“大肚能容天下难容之事”的气度。
淝水之战，以少胜多，击溃了符坚的八十万大军，谢安的声望达到了顶点，因此遭到了专权的会稽王的嫉恨，谢安就提出由自己率军出镇广陵的步丘，在步丘，谢安建造泛海的船只，准备从海道返回会稽归隐东山。可是不久，谢安就患了重病，只得返回南京治病休养，回南京没几天，就溘然病逝了。
汲汲于功名者，多为功名所毁，汲汲于富贵者，必为富贵所溺。一生求隐的谢安，终其一生，没有回到他想隐居的东山，对谢安来说，不能不说是一个遗憾。但谢安是一个有责任的男人，为家族而出仕，为国家而呕心沥血。这样的男人，在每个时代都属于稀有动物，是时代所缺乏的。