叶绍袁和沈宜修育儿女众多，尤为难得的是众多儿女都才华横溢，文才卓著。而这一切，都与沈宜修的用心教育是分不开的。知书的沈宜修还在孩子四五岁时，她“即口授《毛诗》、《楚辞》、《长恨歌》、《琵琶行》，教辄成诵。……诸子大者与论文，小者读杜少陵诗，琅琅可听。”
在“一门儿女尽文章”的叶家，八个儿子子皆有文采，其中又以六子叶燮成就最高，他主要著作有诗论专著《原诗》，此外尚还有诗文集《己畦集》。除了儿子外，叶家的三个女儿的文采尤其卓然，长姊叶纨纨、二姊叶小纨与小女叶小鸾并称才女，而小鸾文名尤盛。
叶小鸾出生后不久，由于沈宜修身体失调，加上家贫无力调养，正好当时她的舅母张倩倩刚出生的孩子夭折，所以，她就被送往舅舅沈自征家。在她十岁左右的时候才又回到叶家。叶小鸾曾写过 “戏捐粉盒葬花魂”的句子，而据后来的红学家考证，黛玉说的“冷月葬花魂”诗句即出自于此。叶小鸾长成后与昆山张立平订立婚约，崇祯五年（公元1632年）的秋天，十七岁的叶小鸾就在要出嫁的前五天突然去世。她留有诗集《返生香》、词集《疏香阁词》，及《分湖石记》《蕉窗石记》等文传世。当已出嫁的大姐叶纨纨知道小妹去世的消息后，悲痛到病倒，终因哭妹过度，于叶小鸾去世两个月后也随妹而去，她留有《愁言》集传世。
两个女儿的相继离去，对沈宜修的打击也是巨大的。在深切的悲痛中，她曾写下《壬申除夜悼两女》一诗：
劲风吹断鬓，寂莫岁穷天。
落日照新鬼，伤心送旧年。
室连双穗帐，肠断一诗篇。
腊酒浇难醒，寒花泪纸钱。
接下来的日子，对于沈宜修而言，充满了伤心与痛苦。而同样的悲伤也缠绕着而姐叶小纨。她在两姊妹相继离去后，叶小纨倍感孤独与悲伤，伤痛之余，她写下了杂剧《鸳鸯梦》，以寄托自己的哀思，她也因此而成为中国历史上第一个女戏剧家。
对于两个女儿的离世，身为一家之主的叶绍袁也为痛苦所磨折。思念愈切，痛苦愈深，为了获得一点安慰，叶绍袁请地各种懂方术的人及佛门中的高僧为叶小鸾超度亡灵，以求获得她在仙界的生活状况，以期获得精神的慰藉。就在全家还没从女儿的伤痛中回复过来的时候，叶家的二子又因病去世。接连的打击，加之多年的辛勤操，终于使得心力交瘁的沈宜修一病不起。此时的叶绍袁既为丧女丧子而悲痛，也为妻子的病而愁苦，他四处举债为妻治病。但此时的沈宜修已是油尽灯枯，公元1635年，在贫病中，更在对儿女的深深怀念中，沈宜修撒手人寰。
丧女丧子又丧妻的叶绍袁，痛苦无语能表。他于痛苦里整理、筛选了妻儿的作品，并把时人的悼念之作刻成《午梦堂集》，以表达对妻儿的思念之情。与此同时，叶绍袁开始把精力放在了佛学的研究上，以求获得心灵的解脱。1644年，明王朝被推翻，叶绍袁不甘心做清朝的顺民，于是隐遁为僧。
叶绍袁与沈宜修虽一生清贫，却相亲相爱，彼此扶持到终老。而在他们的清贫而平淡的生活里，他们才华横溢的儿女也是他们最可宝贵的财富。对于他们物质的清贫，精神的富裕，后人写诗慨叹说：“十里分湖翰墨香，一门儿女尽文章。孤臣禅去沧桑改，何处重寻午梦堂。”
张倩倩与沈自徵：三生缘薄吹箫伴
漠漠轻阴笼竹院，细雨无情，泪湿霜花面。试问寸肠何样断？残红碎绿西风片。
千遍相思才夜半，又听楼前，叫过伤心雁。不恨天涯人去远，三生缘薄吹箫伴。
——张倩倩《蝶恋花 丙寅寒夜与宛君话君庸作》
这首《蝶恋花》是明代吴江才女张倩倩因思念宦游在外的丈夫沈自徵而作，一句“三生缘薄”，没想到却一语成谶，就在她写完这首词不久，还没来得及等到“千遍相思”的丈夫归来，三十岁刚出头的她就离开了人世。情深如她，命薄如她，在饱经相思之苦后，对于与丈夫来生的情缘，她会选择什么呢？遇？或不遇？