嘉靖三年七月哭门事件发生后，到嘉靖五年十月萧然离开北京两年多期间，文徵明的心似乎早已离开了北京：
马上听鸡，麻木地上朝、下朝、玉堂值夜、到史馆中工作、一次又一次地上乞归奏疏……
由于决心归老江南，反倒对都下胜景，有种说不出的留恋；禁苑、西山到处游览，回到寓所之后，再凭着回忆，纪之以诗。在未来的山陬水涯，面对渔樵闲谈起来，岂不像梦境一般！
许许多多因议礼、哭门事件、谏阻遣使督办江南织造等，忤张璁、桂萼乃至当今天子的臣僚，致仕、左迁以及充军的不可胜数；单是长洲和吴县的乡友，就有多位。长亭饯别，寄诗慰藉，成了文徵明日常生活的主要部分。心中的感受，也特别强烈。他们不仅满怀忠义，有的更是不可多得的一代奇才，对国家社会，立有不世之勋。此番离去，有些不啻生离死别，相逢无日。展望未来朝政，无不唏嘘叹息。
此外，就是日日夜夜地怀归思乡。尤其病中，长夜漫漫，石湖、横塘、竹堂寺、奉天寺、东禅寺……许许多多与好友共同度过的岁月，纷纷在眼前浮现。有时，他不得不摸索着，燃起灯火，拈笔写下梦里的诗篇。
吴爟、伯虎、王鏊、都穆、叔父文森、岳父吴愈等好友及长亲过世的噩耗，先后传来，使他心如刀割。即使侥幸还乡，他也无法想象那种形单影只，恍如隔世的凄凉与孤独。
回想《武宗实录》纂修之际，文徵明初进翰林院，由于不是出身科目，颇受某些翰林的羞辱和排挤。
但，不久之后，他得自叔父文森、故尚书吴宽、太傅王鏊的史学培育；修《吴郡志》，写传记、行状、墓志铭等多年的锻炼，以及其独特的才识与文笔，使他不仅渐为同侪肯定，也受到杨廷和、吴一鹏等主其事者，甚至嘉靖皇帝的器重。只是，嘉靖三年秋天，《武宗实录》修成之后，接踵而至的狂风暴雨——左顺门事件，掩盖了实录告成的赏赐和应有的喜悦。
哭门事件后，参与者遭遇到杖死、入狱、免职和放逐，翰林院给人的感觉，已是满目疮痍。多年培植出来的人才，也摧残殆尽。翰林们对张璁、桂萼、方献夫等人的敌对与仇视，更加深了它的阴霾和诡谲。
到了四年春天，嘉靖皇帝诏命纂修其父“献皇帝”实录，大学士费宏奏请：
“献皇帝嘉言懿行，旧邸必有成书，宜取付史馆纂修。”（注一）朱厚熜当即嘉纳。采用兴国旧邸成书，一则在史料搜集上减少很多困难，再则，也减少了许多可能发生的争议和风险；预料实录纂修，必可顺利完成。
在前述背景与时机下所进行的《献皇帝实录》纂修工作，无论文徵明狷介耿直的性格，因祸得福地未卷入议礼和哭门的漩涡，以及其精深的史学造诣，都使他成为一个颇受瞩目的修史者。
《实录》未成前，嘉靖皇帝端午赐扇；扇由剡藤、湘竹巧制而成，上有天子宸翰，让人尤感珍贵。
再赐长寿彩缕；受赐者跪伏在金水桥边，五色光华的文绣，结成双螭形，披挂在臂间，仪式隆重。文徵明对这些尚方之赐，一一赋诗谢恩。（注二）
五年六月，《献皇帝实录》五十卷、《宝训》十卷成，皇帝先后两次颁赐银币，另有五色丝织成的绣花衣服一套。文徵明依旧献诗，表达心中的感戴：
“流银嘉币上万琛，昼锡骈蕃雨露深；朽质何堪施绮穀，虚名元自愧南金。敢忘珍重酬千载，图补丝毫有寸心；白发茂恩何所自，三年供奉忝词林。”——《再赐银币》（注三）
赋此诗时，正值文徵明三年考满，右迁、致仕，全在一念之间。在感谢天恩浩荡，“敢忘珍重酬千载”的同时，衡量个性与时势，文徵明心中，迸发出另一种悲凉而低沉的音调：
“湖上鸥盟久已寒，年来归计转漫漫；忤怀只觉官无味，作意那知退亦难。病起凉风秋渐索，梦回孤月夜成阑；负他黄菊东篱下，吹尽残英不得飧。”——《次韵继子端祠部四首》（四首之三）（注四）
大约修史、侍经筵满二年之后，文徵明开始上疏乞归。在此三年考满的关键时刻，表里两种不同音调交织之下，后者依然占着优势；他的第三度乞归的奏疏，也就在这时，递入冢宰手中。
文徵明毅然决然地乞归致仕，还有另外一些微妙的因素：
四年冬，因议礼获宠升任詹事兼翰林院学士的张璁，似乎颇念温州公文林的师生情谊，暗示只若徵明依附于他，必将为其未来出处，多方照应；对此，文徵明当即率真地加以辞谢。
五年夏五月，也正是文徵明三年考满之际，家住丹徒的杨一清，由兵部尚书、三边总制，入阁为吏部尚书。朝官纷纷前往尚书府拜谒新冡宰，文徵明依礼不得不往，但已拖衍到众官之后。这位面貌丑陋，胸怀大略的杨老尚书，对徵明的怠慢不免有几分怪意，乃以父执长辈的口吻说：
“生不知而父之与我友耶？而后见我！”（注五）
徵明既不怕自己前程蒙上不利的阴影，也丝毫不顾老冡宰的颜面，直率地表示说：
“先君子弃不肖三十余年，而以一字及之者，不肖弗敢忘也；故不知相君之与先君子友也。”
杨一清久闻文林之子清正不阿，但不知何以对自己肆慢如此，神色怅然了好半天，才缓缓地说：
“老甚愧见生，幸宽我。”
包括嘉靖三年腊月拜兵部尚书、总制三边，杨一清已三度总制三边。宣府、大同守边将领多为其门生故旧，对安定边廷，极具贡献。
借平安化王之叛，与监军太监张永谋诛刘瑾，平定扰攘多年的中原盗乱，杨一清为腐败已极的朝政，凋敝的民生，开拓了生机。
即使因得罪佞倖钱宁、江彬，致仕居乡时，杨一清也曾谏阻正德皇帝南巡苏杭，及早回銮，以免增加江南的负担，防止可能萌生的动乱。
所以一时之间，这位一生安邦定国的老尚书，实在想不透，何由遭致以刚正笃学闻名、素未谋面的后辈的肆慢和窘辱。
无论在朝在野，文徵明一向贤名卓著。坚拒宁王之聘、拒收王府礼物、拒与中贵人往还、辞谢张璁和杨一清的提拔等，均为时人及后世所乐道。
兴献王追崇之议的是非曲直，难有定论。但，哭门事件，使人才凋零，衣冠丧气，文武寒心；文徵明辞谢张璁的援引，心境易于理解。
杨一清虽然肯定张璁立论，并寄书乔宇，预言张璁议论早晚必将采行；但拜相之后，也曾多方为议礼获谴的廷臣，寻求宽解；张、杨后来反目，不可不谓基因于此。
从这一角度看来，文徵明对毕生谋国利民的杨一清的窘辱，难免予人有矫枉过正之感。
文徵明侍经筵、值宿内廷，西苑往往是由经之地；但只能算是匆匆走过，无法低徊流连。
仙姿绰约的芍药，带着晶莹的冷露，泛出阵阵清香，给人一种远隔凡尘，永不凋零的感觉。
从一片苍松上，隐约露出的殿阁亭台，是琼华岛上的广寒殿；相传为辽萧太后游憩之地。雨后的太液池中，闪动着淡淡的波光。
皇帝游踪清简，驰道上面，已经长出青青的薜萝。白鸥、彤墙，相互衬映。墙边高柳，无人攀折，空自在微风中摇曳。金扇开处，偶然可以见到一二中官的归骑。
四年四月中旬，文徵明官满二载，去意已定，首次乞归的奏疏，也已呈递上去，心下反而感到几分轻松。翰林院同官侍讲陈鲁南，曾任教于内书堂，时日久了，熟识守苑官王满。四月十六那天，文徵明、陈鲁南、修撰马仲房、编修王绳武，便在守苑官引导下，饱游向往已久的西苑。神宫秘府，形同天上，非平常人可能想见。不但充满了神秘感，且唯恐良机不再，使文徵明一行人，更觉得珍惜，眼前的一点一滴，都不愿意遗漏。
玄武门外的万岁山，是大内的镇山，气势高崇，树木葱茏。此时繁花似锦，夏秋之际，则珍果累累；“百果园”，是万岁山的别称。从万岁山西行，琼华岛赫然在目，碧波千顷的映衬下，广寒殿有如海上的仙宫，格外引人遐想。林木亭台间，传说中辽太后凤辇频游，仙乐缥缈，凫雁徊翔不惊。文徵明不觉轻吟：
“……落日芙蓉烟袅袅，秋风桂树露团团；胜游寂寞前朝事，谁见吹箫驾彩鸾。”（注六）
历经甕城中环转如盖的承光殿（圆殿）、琼华岛东北的水殿“龙舟浦”，一行人走进太液池东崇台复殿，古木珍石错杂参差的“芭蕉园”。园内的景物，文徵明并不陌生，《武宗实录》成书之后，曾经在此焚烧史稿。
太液池西的“兔园”，以及兔园北边的平台，可能是文徵明一行此游的终点。数年前，正德皇帝设威武团练营，尝阅武于此，旌旗飞扬，炮声不绝，使内苑形同战场。平台之下，有驰道可以走马。曾几何时，平台、驰道已渐荒芜。文徵明感叹之余，复赋七律一首：
“日上宫墙飞紫埃，先皇阅武有层台，下方驰道依城尽，东面飞轩映水开。云傍绮疏常不散，鸟窥仙仗去还来；金华待诏头都白，欲赋长扬愧不才。”（注七）
然而，即使他有司马相如之才，能赋出委婉而复令人为之警惕的《长杨赋》（按即司马相如上书谏猎），对先朝，或是当今，又会有什么裨益？
他在《西苑诗十首》后记中，写出为宦帝乡的无力感与无奈：
“……而吾徒际会清时，列官禁近，遂得以其暇日游衍其中，独非幸与？然而胜践难逢，佳期不再；而余行且归老江南，追思旧游，可复得耶！”（同前注）
西山之游，是文徵明寓居金台期间的另一次壮举。
二十年前，都穆迁南京兵部武库司之前，曾于暮春及初冬，两游北京西山，著《游西山记》上下篇，苏州士林颇为传诵；因此，西山胜景也早为文徵明所向往。
都穆游山路线，先至西湖、功德寺，登玉泉山而返；十月再续游香山及以建筑雄丽著称的碧云寺。文徵明和几位好友，出阜成门后，即直接放马四十余里外的香山，以两日一宿期间，香山、碧云寺、玉泉、西湖，反其道而行，一次完成了心中宿愿。
一路上，在新春柳色和兰若钟声之间，虽然数度迷途，停马问路，但听不完的鸟啼泉鸣，看不尽的峰峦起伏，备极春游之乐。相对之下，都穆冬日之旅就艰辛多了；一路上道草枯黄，北风扑面，马不肯前。一次次地痛鞭坐骑，才到达池水半涸，残梗败荷纵横的“竹林寺”遗址。从这辽金时代废墟，攀缘而上，则是香山永安寺。
文徵明一面马上寻诗，一面想着都穆在猛烈朔风中痛鞭坐骑的景象；足见此公性情坚忍；但未免予人一种焚琴煮鹤的感觉。
从玉泉亭降至西湖，已经步上日暮归程，文徵明对燕地风光留恋之余，也蓦然浮起思乡情怀。他在晚风徐徐，群鸦乱飞的霞光下，低沉地赋出最后一首西山纪游：
“春湖落日水拖蓝，天影楼台上下涵，十里青山行画里，双飞白鸟似江南。思家忽动扁舟兴，顾影深怀短绶惭，不尽平生淹恋意，绿阴深处更停骖。”——《游西山十二首》（十二首之十二——西湖）（注八）
有人眼见朝政日非，无意继续为宦：也有为情势所迫，不得不乞骸骨，求保晚节；或因议礼忤旨，调职南都，投闲置散或远谪边关；在这一连串官堤折柳、长亭饯别的悲咽和慨叹声中，最使文徵明无法自己的，是好友钱元抑的还乡、邻友朱希周的调职南都、倡议哭门的侍郎何孟春的左迁，以及吏部尚书乔宇的致仕。
五十三岁的钱元抑，嘉靖三年，任官三年考满，便迫不及待地乞请致仕。
算起来，这位吴越武肃王钱镠的后裔，和文徵明由同里游伴、庠序同窗，到同事于朝，已经有四十年的交往。
回忆徵明进京后的第一个中秋，幸有钱元抑等乡友，同聚小楼玩月，才冲淡了那浓浓的乡愁。当时，文徵明一面举杯劝酒，一面朗朗吟道：
“樽前常愿金波满，天上谁忧玉宇寒；为语诸君须尽醉，不知来岁共谁看。”——《中秋夜月元抑诸君小楼玩月》（注九）
钱元抑南归，约在嘉靖四年仲春。“为语诸君须尽醉，不知来岁共谁看。”当时的诗句，即将化作形影相吊的孤独与惆怅，对文徵明心灵的冲击，似乎特别强烈。
离别前夕，他以五言绝句四首，抒写怀抱：
“露下葛衣单，参差林影寒，依然残夜月，不在石湖看。”（四首之二）（注十）
钱元抑为太常寺典簿期间，曾屡次上疏，论道士不宜担任职司礼乐，统和神人的太常卿、少。贪饕不法，屡遭论劾的太监萧敬，不宜在皇帝左右。又搜集王振、曹吉祥、刘瑾几名坏乱朝政的前朝太监资料，著《三患传》，以开悟今上。他也议论追尊兴献王所用笾数目，应合于古礼。与其他辞官、被逐朝臣不同的是，钱元抑并未直接和张、桂等人冲突，也未忤及上意。朱厚熜遣大臣、贵胄前往安陆迎兴献帝神主时，钱氏被遣同行。礼成，并曾获赐白金五十两。当他表示坚决辞官后，嘉靖皇帝将他进官为鸿胪寺丞致仕，以示荣宠。回苏州草庐之后，性情淡泊，不事生产的钱元抑，恐怕也只能重拾旧业，绛帐课徒吧。
文徵明对钱氏南归，真是既羨慕又留恋，故乡景物、好友的脸庞、一幕幕的往事，在眼前映现。连赋赠别诗七绝十首，字里行间，充满了浓情和感伤：
“少时同学晚同朝，一着输君去独高，落日黄尘回马处，满头衰发不堪搔。”（十首之七）
“旧游何处石湖西，故友相思意欲迷，为语近来憔悴尽，日骑羸马听朝鸡。”（十首之十）（注十一）
朱希周在苏州的住所，和唐伯虎相邻。弘治九年朱氏状元及第，飘飞的旗影，使唐伯虎心有所感，乃闭户读书；两年后，一举中南京解元。不意却在弘治十二年的礼部试，遭到一场冤狱，功名路途，到此断绝；知道的人，莫不为命运弄人，发出咨嗟。
然而希周仕途，也并非一帆风顺，正德初，一度因忤刘瑾，被摘小疵而降职。正德末、嘉靖初，有长达五年的时间，在南京吏部，作个闲散无事的右侍郎。嘉靖五年召还为礼部右侍郎，因此，议礼一起，便首当其冲地卷进政争的漩涡之中。
哭门事件中，有人倡言“辅臣尤宜力争！”朱希周立刻前往内阁，对武英殿大学士毛纪、文渊阁大学士石珤说：
“群臣伏阙，公等能坐视乎？”（注十二）
于是两位辅政大学士同往左顺门，率众大哭。当朝廷耳目探听到上述情况，命希周待罪之际，朱希周非但拒赴上章圣皇太后册文大典，并上言为哭门事件系狱的同僚求宥；至是，这位状元出身的栋梁之才，似乎已再难为嘉靖皇帝所重用。
嘉靖四年，大约文徵明首次辞官前后，迁朱希周为南京吏部尚书的诏命，就发布下来了。对这样一位饱学、忠厚、做了三十年侍从，并无过错的良臣，忍令闲置留都，文徵明不能不以诗表现发自内心的惋叹：
“留司晚望重衡钧，三十年来侍从臣，远去独安恬退节，众中欣见老成人。两京规制遥相望，六代江山迹未陈，盛世宦游应自乐，有人东望惜音尘。”——《送冡宰朱玉峰之南京》（注十三）
而在哭门事件中，起主导作用，遮留散朝文武于金水桥南的吏部侍郎何孟春，左迁南京工部侍郎，更使文徵明不惜得罪朝廷，索性在赠别诗中，愈发露骨地表示出他对议礼事件的态度。