嘉靖二十年前后，苏州流传一则来自太湖南岸吴兴的趣闻：
某氏正在宴请一位官宦，宾主间谈笑风生，气氛热烈。一些朝廷旧事，不免成了杯觥交错中的话题。
这时，有位年已古稀的老者，不期而至，看样子可能是位熟客。主人没有特别引介，被待为上宾的官宦，也就不以为意，依然高谈阔论，旁若无人。尤其当他看到老者身着褴褛的短褐，一双芒鞋，仿佛乡下的老农，深觉这人来得不但唐突，与之同桌共饮，多少有碍观瞻；不觉露出几分轻贱的神态。
偶然，话题转到孝宗弘治年间，外戚张延龄骄横，言官庞泮等上疏论奏，皇上怒其言辞激烈，非但不约束贵戚，反将一干言官下狱惩治时；这位官宦义形于色，以一种神秘的语气，显示在座者只有他深知此事的底蕴：
“时非某公抗气申救，祸且叵测！”
短褐、芒鞋的老者听到这里，不知何故，像来时一样唐突，急忙起身离去。官宦探问主人，始知老者正是当时奋不顾身，与同年陆昆抗疏论救，出言官于狱的进士刘麟（元瑞）。历经三十年左右的宦海生涯，早已以工部尚书致仕。为官清正的刘麟，致仕后竟然栖身无处，其后，知府为之筑台于城郊南坦，县令进而为他构堂台上，总算有了个简陋的息游之所，并以“坦上翁”自号。
知道了老者身份的这位官宦，想到适才的言语和狂态，立时颊赤汗下，低头不语良久，才求主人陪同造访刘麟，向他谢罪。宽宏大量的刘氏，却略不为意。
然而，苏州人更津津乐道的，则是文徵明于嘉靖二十二年七月中旬，为坦上翁刘麟所作的《楼居图》。曹操能使军士“望梅止渴”；至于“画楼”如何登临？则十足令人玩味。
纸本、设色、幅长三尺有余的立轴上，古柳垂条，清流环绕，莫非是知府为尊崇刘麟磊落清直风范所筑的台？石基粉墙内外，尽是苍然古木。树梢上面，浮出斜斜的一片屋顶。在高树、草顶，和淡远峰峦拱卫中，耸立着刘麟魂萦梦绕的小楼。白衣主人凭栏而坐，仿佛正在舒眉远眺，神游世外，一个小童，端盘侍立于后，愈发显出高人晏居的悠然。文徵明在画上题：
“仙客从来好阁居，窗开八面眼眉舒，上方台殿隆隆起，下界云雷隐隐虚。隐几便能窥日本，凭栏真可见扶余，捴然世事多翻覆，中有高人只晏如。南坦刘先生谢政归，而欲为楼居之念，其高尚可知矣。楼虽未成，余赋一诗并写其意以先之，它日张之座右，亦楼居之一乐也。”（注一）
刘麟得到文徵明的《楼居图》，视如至宝，画中境界，正如他梦寐以求的那样，纵目远眺，太湖诸岛，扶余仙境，仿佛历历在望。人世的喧嚣，政治的纷扰，均已置诸度外。在图史笔砚的伴陪下，安度余生。他把那图悬挂在堂壁之上，可以随时神游其中。另外做了一个宽舒的篮舆，吊在梁曲之间，当作比上不足，比下有余的“楼阁”；他称之为“神楼”。这位一贫如洗的致仕尚书平日“楼居”，读书、著作外，谛听林中鸟啭，享受阵阵袭来的清风，一时自己也分不清身在画里，或局促于“神楼”之内。
当他的好友杨用修、朱子价纷纷赋《神楼曲》，赞颂他清高的品德和那丰富的精神生活时，有位建安李尚书，闻“神楼”之名，造访山中，才发现神楼主人清寒得竟连寝具都付之阙如。在潇潇风雨中，刘麟只能以羊乳易酒飨客，欢饮至夜。
《楼居图》和“神楼”之名，虽然传遍太湖一带；但刘麟何以不远百里之遥，索求文徵明为图，不愿假手吴兴名家？二人的过往渊源如何？似乎就鲜为局外人所知了。
据说刘麟早年，与徵明好友顾璘、徐祯卿极为友善，人称“江东三才子”。因此，无论文徵明的家世、人品和才能，早为刘氏所仰慕。
正德三年，刘麟以刑部郎中，出守浙江绍兴府。绍兴是个为人称羡的大郡，由此可见朝廷对刘麟的器重。不过当时擅权秉政的，不是正德皇帝，也不是铨曹宰辅，而是中官刘瑾。刘瑾恨刘麟赴任前，没有前往谒见，叩谢他的栽培，在他到官仅仅五十六日（注二），就借故将刘麟罢官为民。但这五十六日相处而骤然离去，竟使绍兴百姓如失慈母，奔走追饯，馈以重金，刘麟一概婉拒；刘麟的爱民得民，和他的清正廉直，于此可见一斑。
绍兴人为了表达对刘麟的崇敬，为他塑像以为纪念，并建“小刘祠”，与郡中原有的，奉祀汉朝贤守刘宠的“刘祠”相配。刘麟贤名，也因此不胫而走，传闻天下。
罢官后的刘麟，顿时衣食不继，贫困得连返回江西安仁的路费也没有。乃北走湖州，浪迹吴兴，客居在文徵明好友吴汝琇家中。
正德五年刘瑾伏诛，刘麟受命为西安知府。
吴兴官绅知道他重膺大任，莫不为之鼓舞，纷纷赋诗赠行。照一般惯例，送行的诗叙，多出于名公贵人之手，但，刘麟却独属意于远在苏州，当时潦倒落魄的文徵明。据吴汝琇表示，无非景仰文徵明的贤且直；刘麟以为唯有这样的人执笔，才能真正像古人那样：“得其善则称，知其过则规”，不会一意揄扬，为无补于事的空言。因此，文徵明撰《送刘君元瑞守西安叙》（同注二）时，文、刘二人尚无一面之雅，但不能不说是神交已久的知音。
补西安不久，刘麟即遭父忧。前度寄寓吴兴的结果，使刘麟对吴兴山水，不能忘情；索性奉父亲灵柩，葬于湖州，表示此生长为湖州人。
回忆执笔送刘元瑞守西安诗叙的往事，文徵明感觉犹在目前，忽忽二人皆已致仕多年。当文徵明挥洒“楼居图”之际，想着刘麟穷困孤独的晚景，不由得兴起“安得广厦千万间”的感叹。
文徵明绘制楼居图前后，松江华亭徐阶路经苏州，知府王廷宴之于竹堂寺，请文徵明同席作陪。徐阶字子升，嘉靖二年进士第三名，授翰林院编修，也是文徵明居京时的旧友。皮肤白皙、身材矮小、举止优雅的徐氏，聪敏颖异，有权略，常与王阳明的门人交游。
一次，张璁倡议除去孔子的王号，把圣像换成木主，其余笾豆礼乐均加以损抑。诏下儒臣集议的时候，徐阶独持异议。张璁召徐阶，当面严诘；徐阶抗辩不屈。张璁怒极，厉声呵斥：
“若叛我！”
徐阶则毫不畏惧，正色而言，表示有“阿附”才有“背叛”，但他根本就没有阿附首辅，所以也就无所谓背叛。说完，从容不迫，长揖而出。铿锵的语句，嶙峋的风骨，一时传遍京师。张璁为此把他外放为延平府推官。回首多年往事，文徵明感慨无限。即席赋诗，为徐阶送行，也冀望他能为朝廷大用，造福生民。
此外，同在这年七月，他也为王廷作四体《千字文》，并行书旧日的诗篇。十一月，也就是王廷守苏已近考满，行将赴京述职的时候，见到徵明自选的诗集。诗分四卷，按年编次。最早的为二十岁所作，末篇则作于正德九年，时年四十四岁。前后二十四年间，一共存录五百首之多。吟哦、咀嚼，王廷从中可以清晰地看出文徵明青壮年时代遭际、人格、为学和思想的发展。“言为心声”、“诗以语志”，玩味这些诗作，看看眼前这位白发苍苍、手不停挥、温和慈蔼的吴门大隐，让人感到人生命运虽变幻莫测；但，为一股浩然之气所引导的心志成长，却有着一贯的脉络。王廷对四卷《甫田集》爱不忍释，于是序而刻之，使能流传后世。
王廷，字“子正”，四川顺庆府南充县人，故又号“南岷”。嘉靖十一年进士，授户部主事，后改为御史。他和文徵明高弟王穀祥，同样不满吏部尚书汪的铨叙不公，上疏奏劾。得罪当道的结果，谪为亳州判官。嘉靖二十年，以工部郎中迁为苏州知府。
王廷知苏，礼贤下士，直节劲气，不改本色。莅官后，重镌王鏊阁老和苏州才彦心血结晶而成的《姑苏志》，算是他对苏州的一点心意。志中增列《岁贡》一表，则是对文徵明道德和学养的敬重。王廷每次造访停云馆，往往流连竟日。而所谈均属金石文艺之事；文徵明既无所干求，王廷更言不及私。用膳时，文徵明并不以郡守在座，增添美旨佳肴，待之一如家人好友。然而人生在世，只能说是会聚有时，述职之后，萍漂何处，这两位知交，均感渺茫。
嘉靖二十三年四月十日，八十一岁长洲老儒谢雍（元和）造访，以手录《枝山先生诗文集》十卷赠文徵明。对文徵明而言，十卷钞稿，如睹故友，无异于珙璧，但也为他带来一丝歉疚和惆怅。
谢雍的祖父举人谢会，是枝山祖父的门生。其父谢昺，对枝山父亲执礼甚恭。谢雍待枝山也如师如友；因之，祝、谢二氏，实为通家之好。谢雍对其祖父遗文，异常珍视，积极为之校录、刻版，使先人的德义文业得以流传。祝枝山曾撰《赠谢元和序》（注三）勉励他的孝行，和笃于通家交往之道，同时也把虽然功名无成，却进德修业努力不懈的谢雍，引为知音。《枝山先生诗文集》钞本之赠，不言可喻，是希望借文徵明之力，使得传诵千载。
枝山卒于嘉靖五年腊月，正值文徵明出京南旋，却阻冰潞河之际。待春暖还吴，两位知友，早已天人永隔，为文徵明留下永生的遗憾。祝氏晚岁，自己已将生平文稿诠次成帙，藏而未刻。谢世后，长子祝续检辑遗作，得十之六七；其中多数为枝山所手录。然而稿中，涂抹、修改、注释，密密麻麻，外人难以辨识。丁忧期满的祝续，只好带着父亲遗作，游宦四方，随时考订、整理及抄录，直到归老林泉，依旧在乃弟祝繁的协力下，继续校勘。而经济能力之不足，则是迟延十五六年后，无法付梓的主因。
嘉靖十五年三月二十二日，文徵明归隐的第十年，曾意外的见到祝枝山二十四岁时的手稿一轴；诗、赋、杂文共六十三首。想到早年，先是都穆、枝山均以古文驰名吴中。数年后，他和伯虎也追随其间，文酒雅集几无虚日。那时年少气锐，人人都以古人自期，对朝廷、社稷，都抱着很大的理想。转眼之间，不但命运各异，除他之外，皆已先后凋谢。一时感慨，有如潮涌：
“……呜呼！三君已矣，其风流文雅，照映东南，至今犹为人歆。余虽老病幸存，而潦倒无闻，不足为有无也。此卷虽君少作，而铸词发藻，居然玄胜。至于笔翰之妙，亦在晋宋之间，诚不易得也。……”题祝希哲手稿（注四）
回忆、惋惜、珍视，但也充满了无奈。
其时，伯虎诗文，已由袁袠编辑问世。自己作品虽然逐年誊录，力之所限，却不敢作付梓之想。至于由祝续和祝繁兄弟校订、抄录，定名为《祝氏集略》的三十卷诗文，以祝氏家境的萧条，篇帙的浩繁，如非有大力者为助，恐怕也只能继续藏之笥内。
“《枝山先生诗文集》，老朽手录以赠内翰衡山先生，少申微意。嘉靖甲辰四月十日，谢雍时年八十一岁”（注五）
在两巨帙手钞诗文的尾页，有谢雍的落款。文徵明把诗文题目翻阅一遍，其中多半他已读过，和印象中祝续兄弟所作编目相较，虽然不无重复，但两相印证及弥补阙漏之功，不可忽视。倘机缘能力许可，与《祝氏集略》合成完璧，当更能使枝山学思才华，光耀于世。
对谢雍到处搜集祝氏遗文，以蝇头细楷抄录的心意和工夫，文徵明满怀赞叹和感激。至于何时方能达到这位宿儒的愿望，为亡友稍尽绵薄之力，文徵明轻拈着颏下的霜须，一时竟无从想象。
不知有意或是巧合，帙中《扇景和徵明》、《为谢元和索酒》、《沈先生临小米大姚村诗图歌》，竟同录于一叶之中。
“覆有高林载有苔，石公木客可参陪；山居事业略完具，只是无人肯入来。”（注六）
诗中的后两句，以恋慕红尘的人性，衬托文徵明早年扇景所表现深山无人的空灵境界。
沈周临小米大姚村诗图，是弘治年间在苏州所流传的故事：
苏州沈汝融，家藏一幅米友仁大姚村图卷，是有名的艺术瑰宝。成化末年，为中官王瘸，仗势搜刮而去。失去世守之宝的沈氏，自觉愧对父祖，寝食俱废，了无生意。沈周曾看过此画，其后又从外甥——徐有贞之子处，见到米友仁行书咏大姚村风物的三首诗。诗意唤醒了对米氏云山图卷的记忆，沈周乃背临一卷；优孟衣冠，用以安慰沈汝融，冲淡他心中的悲戚。弘治五年的旧事，当时年已二十三的文徵明，记忆犹新。枝山所作长歌，歌咏大姚村图的烟云变化神妙之外，更写出沈周的妙手与仁心。
至于索酒七绝，愈发显出苏州文坛先进的儒雅风流。
“如今不是三闾世，愧我缘何每独醒；为向东山寻醉地，一双香王快飞瓶。”（同注六）
使文徵明感到无独有偶的，册中别有一首《为文宗质索糟》七绝一首：
“真酣欲作刘伶藉，借兴非同屈子。买得淮鱼正堪压，问君能与一瓶无？”（注七）
此外，集中索扇、素剑等诗不一而足，充分地显示出枝山个性的率真与风趣。
嘉靖二十四年初夏，长洲王庭（直夫），从江西参议任内，得疾谢归，年仅五十六岁。因不附张璁而至宦途坎坷的胥台山人袁袠，则以四十四岁壮龄，自广西提学佥事致仕，归卧横塘别业。拒不参加南京乡试，甘于饥贫，却不愿请廪，志在经、史、两汉、金石的彭年（孔嘉），以及前此辞官的陆师道（子传），经常集聚于文徵明之门。评隲诗文，考校金石，不但户履常满，七十六岁高年的文徵明，也自然负起领袖东南风骚的重担。
“内翰小子师，卓行古人杰。辞金抗幼龄，解组修晚节。丹青纷云烟，篇翰烂虹霓，瑚琏世所珍，昭代表三绝。”——十怀诗（其一）（注八）
人品、节操、学识和艺术上的成就；从袁袠这首称颂文徵明的五律中，可以见出学贯古今，著作等身的袁袠，出入衡山之门，绝非偶然。
至于陆师道之春闱高中，到去官归吴，倏忽去来，更恍如南柯一梦。
长身玉立，容颜俊美的陆师道，自弱冠前后，就与文徵明相友善，经常方舟出游。嘉靖十六年，师道北上赴试之前，两人还曾泛舟湖上。放眼左右，千岩万壑，一片青翠。鸟啭猿啼，泉水争流声中，师道出绢求画。文徵明略加思索，随即搦管经营，至兴阑则止。回停云馆后，继续画画停停，那知图成未半，陆师道却已自礼部以母老乞养而归，时为嘉靖二十二年早春，从此正式拜于徵明门下。
陆师道中进士，颇经过一段曲折：
太傅李时阅师道殿试试卷，当即大为称赏，认为“文章贾董，笔法钟王”，拟置于一甲，甚至认为新科状元，也可能非此人莫属。首揆似乎也同意李时的看法，但他为笼络人才，欲先结识陆氏，再定取舍。命人邀致的结果，师道以士节所关，不肯往谒；使他既失望又愤怒，遂抑置师道于第二甲，授工部主事，改礼部仪制司。
对陆师道的不肯谒谢，首揆并不就此甘心，授官之后，仍然一意想罗致门下。师道不屑首揆所为，竟牺牲似锦前程，以母老乞归；其时年未三十，闻者无不为之惋惜。在人们心目中，徵明四绝，不减赵孟頫；陆师道不但均得其传，风骨品德，与文徵明亦不相上下。