顾恺之曰：“会稽有会稽山、四明山、富春江、浦阳江、曹娥江等佳山丽水，重峦叠嶂如深宫万重，娇颜隐约。激流飞瀑喷薄山间，奇洞幽穴隐没地底，明湖秀屿点缀千里田园。旁即大海，芳岛若繁星，钓舟往来若流陨也。安石今居于此，乃是汉时严子陵，欲钓光武帝。”
诸友皆笑。
谢安筑室于四明之东山。轩堂精洁，松柳成荫。近处有十二峰峦，若鸾飞鹤舞；屋后是一道明湖，似美人春波。
谢安心中得意，每日攻读古今兵书经籍，闲暇时则携妻儿之手随意而游，自谓“此情此境，离伯夷不远！”
谢安喜欢穿彩袍，漫步山道时与群花交艳，望之如古仙也。
建安有妓曰芸娘，常至东山看望。
谢安大得隐居之趣，写信因问王羲之何时也归隐？
王羲之非常羡慕谢安，苦不得脱，只有把心思放在为官上。江州大治，百姓十分拥戴。
王羲之不时作书回覆谢安，谢安对夫人曰：“逸少书法精进如斯！若山有四时也。”
第二年春天，殷浩大欲北伐，将王羲之调回建康任职军中，是为右军将军。盖因王羲之是王导之侄，借以服众。
王羲之见殷浩与桓温不和，进谏曰：“大人应以国事为重，不宜与大将军生隙。”殷浩未纳。
这时王羲之已有三子，长子王玄之早卒，次子王凝之官居中书郎，三子王涣之年尚幼，在家读书。
夫人芳容未减，持家更显风流。
谢安亦有子曰谢琰，酷似其祖谢裒。谢裒生有六子，依次为谢奕、谢据、谢安、谢万、谢石、谢铁。
谢裒之兄谢鲲一房只谢尚一人，然而却最为显达。谢安兄弟隐的隐，散的散，在朝的官职都不大，暂无显达。
不久，皇帝令殷浩以谢尚、荀羡为督统，日夜操练兵马，指日北伐。桓温见朝廷偏任殷浩一党，心中大为毒恨，坐拥江州，暗中吐纳风云。
桓温亦有子桓玄，与谢奕之子谢玄同年生，因二人同名，人称“二玄”。
“二玄”皆不爱谈玄，桓玄喜驰马射猎，谢玄喜静读兵书似谢安，常至山中问学。
谢安有剑曰“摩刹努”，未曾示人以锋也。