由于战事，归庄家境日趋衰落，又屡遭不幸。在乱世中唯一慰藉是有一位知心的妻子，两人感情甚笃。归庄曾把他的妻子署名为“推仔楼”，示为才子佳人合抱之意。他将自已的居所修筑在亲人墓旁，命名为“己斋”。在茅庐上题联：“两口居安乐之窝，妻太聪明夫太怪；四邻接幽冥之宅，人何寥落鬼何多。”归庄自家的茅庐柴门破烂到不能掩闭，屋里的椅子，不是缺脚就是少凳面，他就以绳纬索，也不以为然。
入清后归庄为了与清朝划清界限，更名祚明，字玄恭，自署普明头陀。他对自己的字号，颇有戏谑之谓：“归子名庄，字元公，别号鏖鏊钜山人，平生名字号屡更，以十数计，今名从其旧，字从其新，号从其怪者云。”归庄自幼受诗书熏陶，为诸生时，即博览群书，下笔数千言不止，擅画竹石，狂草功力更深。他与顾炎武学行相推许，俱不谐于俗。1640年他虽特榜被召，但鉴于国事日非，他辞而不赴。随后应徐州书画名家万寿祺之聘，到淮阴任教。
万寿祺死后，归庄回到昆太地区隐居，以卖书画为生，拒不仕清，野服终身。自母亲死后，他的儿子又失踪，这令归庄渐渐变得癫狂。他每日纵酒狂歌，留恋于湖光山色之中，逢人即谈忠义之事。归庄时常也会想起他的好友顾炎武，但那时顾炎武远游在北方，两个人只能通过书信往来。由于相隔遥远，至死都未能重见一面。归庄晚年倾力于汇刻其曾祖父的《归有光全集》，寄食僧舍，孑然一身。加上他年老多病，也仅能以诗文寄磊落不平之慨。
归庄虽为僧人，但大部分时间居住在家，他又与僧人往来不断，晚年不少时光又在佛寺度过。他出家之因在于“亡命”。实际上，这也是不少清初遗民出家的主要原因。同治《苏州府志》记载：“顺治乙西，县丞阎茂才摄令事，下薙发令，士民不从，噪于县，絷茂才，庄白众杀之，遂婴守城。事定后，究前事，庄亡命，薙发僧装，称普明头陀。”他的出家是被逼而为，所以并未长期留住僧舍，也未能遵守出家人的规矩。当风波平息后，便过上了忽僧忽儒，亦僧亦儒的生活。