在编修王绳武家中借寓、到圆巨和尚庙中暂住、一次又一次借住友人的小楼；住的问题，成了文徵明京中生活最大的困扰。
盘缠既罄，微薪薄俸，比起京中生活的昂贵和各种意想不到的开支，简直变得微不足道。能告贷的乡友，多已告贷过。再重新咀嚼正德初年，故友徐祯卿因失囚罚俸，落魄京师的诗作，文徵明愈发感到家的温暖，恨不得立刻回返江南，过着虽然潦倒却是悠游的岁月。
六月赁到一座宅院，似可稍稍安顿下来，但五十七两赁银，对文徵明而言，并非小的数目，只好央人辗转挪借。在极端恶劣的情绪下，六月十九日的家书，显得格外激动：
“我在此思家甚切，一言难尽；汝等可念我，作主令家小上来，不然难过活也。来时，措置些盘费来方好；盖此间俸禄、皀隶之类，仅可给日逐使费耳。”（注一）
家书寄出后，孤独寂寞的文徵明，便开始盘算日子：如无阻碍，家书将于八月中抵达苏州，正值家家户户团圆赏月之际。倘能体念他京中度日如年的苦楚，妻子当即收拾起程，预计九月尽，十月初，他就可以有一个稍具规模的家，重新恢复生活的常轨。
事实上，文徵明所以感到痛苦难耐，渴欲辞官归里，除了经济拮据、生活不惯之外，动荡不安的局势，很有一种山雨欲来的压力。想到先师李应祯为了拒写佛经，叔父文森因疏论夤缘求进者遭受扑、笞之刑。正德年间，不知多少忠臣义士，为了抑制中官专横，诤谏皇帝微服出巡及御驾南征，惨遭非刑、饱受屈辱。一旦面临种种困境，人微言轻的他，将不知何以自处！
从文徵明任职翰院的闰四月开始，年轻的皇帝用太监崔文之言，日以继夜地在宫中建醮。给事中刘最，疏劾崔文左道旁门，糜费公帑。朱厚熜于盛怒之下，立刻把刘最谪为广德州判官，进而逮下诏狱，改戍邵武。从此上行下效，许多希图幸进之臣，纷纷献上长生之术，或以青词干进。
正德七八年间，文徵明曾两度为文，推崇刑部尚书林俊的德望和文才武功。盛称这位父执的满腔忠义、不畏权势，以及功成身退，不恋利禄的高尚节操。在文徵明心目中，林俊是当今读书人的一个典型，朝廷的柱石。然而，就在文徵明进京两个多月后，屡进屡退，历经四朝的林俊，却再一次面临去就的抉择。
朱厚熜即位之初，林俊被召在道，就疏请年方十五岁的少年君主，多亲近儒臣，先求正心，而后再发为号令，以浑朴为天下先。不要为了迁就现实，改变锐意革新的初诏。
林俊入京时候，正值暑月，经筵已经辍讲多时，林俊历举祖宗勤学求治的故事，并力谏：
“亲大臣、勤圣学、辨异端、节财用。”（注二）
无如这位看来英明而满怀自信的新君，像前朝皇帝朱厚照一样，对中官亲近而信赖，加以其对道术的执迷，使起自福建田间的老臣林俊，忧心忡忡，生恐他步上朱厚照的覆辙，为生民和社会带来无止境的灾难。
而导致林俊挂冠求去的导火线，也正由于嘉靖皇帝干涉司法，对作奸犯科的内臣，曲予维护所至：
中官葛景等奸利事觉，为言官纠举，朱厚熜不交法司审讯，却诏下司礼监察办，想借以大事化小。职司刑名的林俊力主宫、府不可异体，应下法司公讯，以昭平明之治。
中官谷大用，霸占民田万余顷；对于林俊的指控，嘉靖皇帝竟不加理会。
导帝修庙、建醮的内官崔文，其家人向匠师索贿不获，便嗾使崔文几乎把匠师活活杖死；案下刑部究治未决。嘉靖皇帝却传中旨，移镇抚司办理；又是对法司职权的一种挑战，也是企图大事化小的办法。林俊一面留住人犯，不予遣送镇抚司，一面当着盛怒的皇帝，据理力争：
“祖宗以刑狱付法司，以缉获奸盜付镇抚；讯鞫既得，犹必付法司拟，未有夺取未定之囚，反付推问者。文先朝漏奸，罪不容诛，兹复干内降，臣不忍朝廷百五十年纪纲，为此辈坏乱。”（同注二）
此外，无论对交结许泰等朋党要犯的处置，对尊崇兴献王和王妃大礼的看法，他都无法苟同年轻统治者的主张。他感觉自己与其尸位素餐，负天下苍生的厚望，不若乞归故里。
林俊前后乞身八次，可见其去意之坚。
他于嘉靖元年暑月来京，对新朝的诸多乱象，似乎已经见出端倪。他的独宿朝堂，于去就之间，大概早已有所抉择。其诸多诤谏与辅佐措施，也不过是想尽人事，听天命，聊尽读书人的一点心意。二年初秋，林俊萧然离京；距其出山，前后不过一年有余，留下满朝文武的迷惑和叹息。
文徵明黯然神伤地诗送这位致仕尚书之余，不免也有一叶知秋的感叹。
另一位四朝元老，华盖殿大学士杨廷和，也已萌生了退意：
杨廷和是文徵明翰林院的好友修撰杨慎的父亲。也是文徵明所预修《武宗实录》的总裁官，因此，彼此之间并不陌生。杨廷和十二岁中举，十九岁成进士；杨慎七岁作《古战场》文，有“青楼断红粉之魂，白日照青苔之骨”的警句，传诵一时。父子二人的才思和文学造诣，使文徵明大为景仰。
正德皇帝崩殂之后，杨廷和首先主张，大行皇帝无嗣，应遵照“兄终弟及”的祖训，立兴献王的长子，孝宗从子，大行皇帝堂弟朱厚熜为君；对嘉靖皇帝而言，杨廷和实有册立之功。
遣散边军、罢皇宫内的威武营及团练诸军、革除为正德皇帝诸多皇店和军门办事的官校、放还四方进献的美女、谋诛佞幸江彬……几乎所有正德皇帝遗留下的残局败政，都由杨廷和渐次收失，使朝廷恢复了运作的常轨。
嘉靖登极诏书，即由杨廷和所草，其中把正德间的蠹政，全部加以厘正或剔除，裁汰各种作威作福的冗员和倖进，多达十四万八千七百余名，节省公帑，减少漕运粮米，更无法计算。这道登极诏书一经颁布，普天之下，欢欣雷动，中外臣民，皆称颂新天子为“圣人”，并称颂杨廷和对国家社会的丰功伟绩。然而，在尊崇兴献王的大礼之议，嘉靖皇帝与这位肱股之臣，却相持不下：
嘉靖皇帝即位之初，即欲尊崇本生父母兴献王和王妃为“皇帝”、“皇后”。采纳张璁“继统不继嗣”的论议，认为他所继承的仅是明朝的大统，并非过继为孝宗的后嗣，因此，只能称孝宗为“皇伯考”。
杨廷和认为，三代以前圣王，莫如虞舜，舜受帝尧禅让登基之后，未闻追崇其生父瞽叟为帝；三代以后君主，贤莫如汉光武，光武中兴之后，也未闻有追尊生父南顿君为帝之举。
他又引据汉哀帝和宋英宗的故事，来析论当前的大礼之议。
汉成帝无子，立定陶王刘欣为太子，也就是后来的汉哀帝。但定陶王并无其他子嗣，为免此一藩国就此灭绝，成帝另以楚王孙景，接续“定陶王”的香烟；汉儒师丹以为得礼。
宋仁宗无嗣，抱养濮王之子赵宗实于宫中。仁宗崩殂后，赵宗实继承大统，是为英宗。即位后，本于对生父濮王的孝思，下诏议崇奉濮王典礼。司马光主张可以晋封濮王为高官、大国。但身为最高统治者，却要继统继嗣，不能以生养之私恩，而废公义。此事虽然引起欧阳修和韩琦的反对，形成政争，但宋儒程颐，却同情司马光一派的主张，他检讨濮议事件的过程说：
“言事之臣知称亲之非，而不明尊崇之礼，使濮王与诸父等；若尊称为‘皇伯父濮国大王’，则在濮王极尊崇之道，于仁宗无嫌贰之生矣。”（注三）
依据上陈史例，杨廷和等上议，嘉靖既已入承大统，兴献王又无其他子嗣，不妨援定陶王故事，以益王的儿子朱厚炫，过继为兴献王之后，以奉祀香烟；不宜在京城之中为兴献王立庙。当今天子则应称孝宗为“皇考”，称本生父母为“皇叔父”、“皇叔母”；不宜追尊为“帝”、“后”。
嘉靖皇帝母子，对群臣所议大为不悦，认为把伯父母改称父母，把本生父母改称为叔父母，实在有些不伦不类；而且，诚如张璁所言，母子相见时，如何能行君臣之礼？
从此展开无休无止的争论，使整个朝廷政务，仿佛进入风暴之中；文徵明晋京前后的宁静，不过是台风眼中的宁静而已。这期间，皇帝一次又一次命群臣复议、或按自己的意见批示。文武百官则一再重申前议，杨廷和更四次封回御笔亲批。除了经常面奏之外，又以三十余道奏疏，阐述他一贯的主张；皇帝也未加采纳。
对这位既有册立之功，尽除前朝弊政，把他带入治道的元老重臣，嘉靖皇帝无比的敬爱。但，他所敬爱的杨廷和，为了维护明室的皇统与宗祧，却千方百计地阻碍他对父母的私情和孝意，使朱厚熜心中，又充满了畏惧和怨恨。相形之下，远在南京的刑部主事张璁，反而成了他政海波澜中的一块浮木。在这种矛盾心情下，朱厚熜有时恨不得杨廷和早日离开都城。至于皇帝左右，其中有被裁抑了的权贵、佞倖的戚友、张璁的同调、意图左右少君的中贵……则伺机进言，弹劾杨廷和的专恣，指其缺乏人臣应有的礼统。演变至此，一向深信皇帝年少英敏，只若在自己耐心辅佐下，不难达到太平化境的杨廷和，也不能不心灰意冷，萌生退志了。
对于这件事的态度，杨廷和与杨慎固然父子同心，文徵明的其他好友，如薛蕙、陈沂等，为了帝系大统，有的著书立说，有的准备奏疏，皆欲据理力争，牺牲身家性命，在所不计，并把始倡异议的南京刑部主事张璁，视同寇仇和奸佞，而张璁却是文林任永嘉令时，所识拔出来的门下士；文徵明不但深为惋惜，并在心灵深处，产生一种对张氏的轻蔑与排拒。
长伯虎、徵明十一岁的都穆，早在正德七年为礼部主客司郎中任内致仕。嘉靖元年，受抚臣之荐，进阶为中宪大夫。都穆为官清正，做礼部主客时，对来去频繁的诸夷贡使，柔远有道，使国体大受尊重。当他奉遣以副使册封庆阳王妃时，王府赆以腆币，都穆拒而不受，一时传为美谈。都穆致仕的时候，囊无余资、乡无田庐，萧然而归，朝野人士，莫不对他的清风亮节，大为赞叹，朝廷更加以太仆寺少卿职衔，以酬其劳。
回到苏州之后，太傅王鏊，首先以欣喜的心情，迎接都穆致仕还乡，使他的隐居生活，又添了一位游伴：
“似我归来亦未迟，夫君得谢又先之。清朝况是悬高位，白社多缘赴夙期。到处溪山同载酒，故园风物尽裁诗。一场好梦今朝觉，却任傍人道是痴。”（注四）
每日粗茶淡饭，无分日夜地埋首著作或校仇古籍，都穆生活，似乎很快地便平静下来。
有一次乡人娶妇遇到风雨，灯笼吹灭，又缺少火种，迎亲队伍，立刻陷于一片黑暗之中，不知所措。
突然有人想到，南濠都穆，经常夜读，必定灯火未熄。及至前往破旧的都府扣门，果真得到火种。
育有二男二女的都穆，加上抚养孀妹、孤甥及尚未成年的幼弟，时常衣食无着，饥寒交迫；他却淡然一笑说：
“天壤间当不令都生饿死！”（注五）
在他那形同止水般的心中，如果也潜藏着一些涟漪，那就是被青年时代好友唐伯虎的误解。尤其当他步上金阊门楼，远眺茂林隐隐的桃花坞，胸间不禁激起一阵跳动。有时，他想请友人从中调停，但往往未待友人启齿，敏感的唐伯虎，却先在应邀的信札中约定：
“顷承折简，知梨花酿熟，专待酒徒共醉，有此良机，何敢方命？惟未知穆伧亦曾被邀否？此奴如在座，足使刘伶狂唾，毕卓远遁矣。仆有夙憾，未能与继见耳。……”——《与王履吉》（注六）
此外，终生无法治愈心头创伤的唐伯虎，更在赠王宠吉的饮酒诗中，发抒郁积于胸的感慨：
“我观古昔之英雄，慷慨然诺杯酒中，义重生轻死知己，所以与人成大功。我观今日之才彦，交不以心惟以面；面前斟酒酒未寒，面未变时心已变。……”（注七）
直到伯虎，为回避这位旧日好友而跳楼事件发生后，望桃花坞兴叹的都穆，才知道壮年时代在北京所留下的憾事，已化解无望，随着渐增的白发，怕只能埋恨于九泉之下了。
嘉靖改元的孟春，唐伯虎埋首整理旧作，准备付梓的同时，依旧创作不辍。
“今朝人日试题诗，更簇辛盘煖酒卮，杨柳弄黄梅破白，一年欢赏动头时。”（注八）
他以题扇面的七绝和《一年歌》，作为人日试笔。
那歌，又是被许多人看成“乞儿唱莲花落”般的七言古诗。
“……一年细算良辰少，况又难逢美景和。美景良辰倘遭遇，又有赏心并乐事；不烧高烛照芳尊，也是虚生在人世！……”
歌词劝人良辰难遇，及时行乐；但又像喃喃自语地警惕：“人生苦短，来日无多”。平淡质朴，却使人感到有如秋虫的悲鸣。
入秋，他又画了幅竹子的扇面，题诗清新典雅，一反前歌的俚俗，颇有不食人间烟火的神仙意味：
“细雨鸣鸠苦竹生，闲将水调弄新声。他年炼就轻如叶，醉踏风梢散袖行。”（注九）
不久之后的七月二十五日，飓风突起，掀屋拔树，平地波涛，王鏊、王宠叔侄，均有诗吟咏其事。连吴江县城，也遭洪流围困，秋季的收成，就此变作泡影，有人不免联想到，可能是新天子失德的警兆。
二年春天，蔡羽、文徵明双双应公车之召，深居桃花庵中的唐伯虎，虽然依旧自摘梅苞浸酒，扫梅蕊中的积雪，用活火烹以瀹茗，荡涤尘心，但终觉有一份难以言说的寂寞。
枝山虽然致仕家居，但他们雅不若青年时代，歌楼舞榭，往来频繁。石湖荡舟、虎丘山行乞、联手向扬州盐运使骗取修葺玄妙观的白银，十日之间在扬州画舫和曲巷之间挥霍一空……这一切，只能在回忆中咀嚼玩味。两位好友，一个年逾耳顺，一个半百有余，虽然相去咫尺，却愈来愈少相会。
年纪愈老，似乎愈能体会朋友间那个“淡”字，伯虎在给枝山的一封信上说：
“古今交道纷然，要其善全始终者，莫如一个‘淡’字。仆之与足下，累日一见，累月一叙，其何淡也！乃生平所以奉足下者，论学则师，论齿则长，论心则一人而已；故相忘不计形骸，相信不渝金石。一朝投合，此肺肝也；十年晤见，此面目也……”（注十）
剖析、玩味，唐伯虎把这个“淡”字，归结为最长远，最可贵的交情：
“……以是言交情，谓天下最淡者，孰如我两人！谓天下最浓者，亦孰如我两人！相与终古，无可间矣。”
“……再托生来侬未老，好教相见梦姿容。”（前已引录）
在漫漫寒夜中，他也想到文徵明畏如蛇蝎，却与他死生相许的亡妓徐素。随着远方的更鼓，唐伯虎好像隐约地听到她的歌声。那是他特意为她作的曲，由她自谱自歌。
每当他品味自己浸的梅苞酒时，就想到徐素——这薄命佳人所独擅的浸木樨酒，无论色香味，都是上上之品。辗转无眠中，他仿佛从映雪的窗纸上，窥视到她那苍白的面容。沙沙的风响，恍惚地感到，她正以素手，折取绽放的寒花。
唐伯虎对她的情况了解得愈多，就愈为她惋惜、悲戚。他对这位误堕烟花少女最早的印象是聪慧、娇憨，擅长度曲和唱曲。每次见到他时，总是笑脸相迎，一副无忧无虑的样子，因此，他才跟祝枝山设计，用她来困窘生平不近歌妓舞儿的文徵明。
那次，他让她藏身舱尾，然后祝枝山、文徵明和三数游伴相继登舟。
“……俟荡舟中流再出见，则不虞征仲远遁矣。……”（注十一）
这是他前一天在信中和祝枝山约定了的调侃方式；其实，与其说是“困窘”、“调侃”，毋宁说是想借着徐素秀婉温顺而又娇憨的性格，使固执、拘谨而带有头巾气的文徵明，真正融入他们的生活天地之中。唐伯虎觉得，像他们这样文人雅士，无论放舟石湖，或在虎丘可中亭内饮酒赋诗，中间伴着一个红袖佳人，美目流盼，清歌一曲，才真正算得上入画。
哪知文徵明见到徐素，竟畏之如虎，她愈走近他，他愈是急得大喊大叫，甚至不惜赴水以遁。此事固然引起一场哄笑，传为士林佳话，但伯虎事后思之，也有几分对徐素的歉疚，以后再也未勉强这位红粉知己，和多少有些矫枉过正的好友文徵明会面。
渐渐地，他发现在笑脸迎人之外，她更有喜爱清幽和孤独的一面。有时，竟独自到山陂水崖，低徊流连，听燕语鹃啼，为落花招魂。伯虎对她的感情也逐渐有了改变；他特意为她填词。当她以婉转歌喉，唱出那缠绵的词意时，他亲自为她擫笛伴奏。他知道她不愿与人同游，便单独雇船，邀徐素到山塘踏青：
“采绿有心，踏青无伴，如布衣素屐，得一司香红袖同游，则青山缺处，会见花鸟亦迎人作笑也。君素自命风雅，何不许我同游乎！……人言残春景物凄惨，仆则浓阴深绿，却另有一种风趣，有非世俗所能领会者，君如解人，亦当有悟，专此速妆，幸毋珊珊其来迟也。”（注十二）
辞意之间，恳挚深切，俨如知友情侣，丝毫不存风月场中，逢场作戏的轻佻。
徐素缠绵病榻之际，也是他处境最艰难，心境最痛苦的时候；北京归来之后，桃花坞规画之前；正如他在给祝枝山信中所描写的：
“仆湖海归来，块然一身，飘然来去，如闲云野鹤，……”（注十三）事实上，他是居无定所、三餐不继、往往寄食野寺之中。
他只能在信中，深情款款地安慰她，要善自宽解，消除心中的积郁，同时投以药饵，疗治因天时不定所侵入的风寒。
得到她香消玉殒的噩耗，痛哭失声之余，他更为她向祝枝山索求挽诗，想借这位亦师亦友，乡贡进士的才名和文名，使福薄、命薄、误堕风尘的红粉佳人，能像唐代苏州名妓贞娘一样，名传千古。
《进酒歌》，是唐伯虎青年时代的得意之作，时为新秋，虎丘可中亭畔，围满了男女游客。文徵明、祝枝山等二三好友，持杯于侧，唐伯虎意气风发地吟唱：
“吾生莫放金叵罗，请君听我进酒歌，为乐须当少壮日，老去萧萧空奈何！朱颜零落不复再，白头爱酒心徒在。昨日今朝一梦间，春花秋月宁相待！……”（注十四）
金风送爽的天气，加上几分酒意，使他灵思泉涌。不过这事在回忆中，却成了唐伯虎的遗憾和惆怅；那时，红粉知音尚在，只因良友在侧，使他未便邀徐素前往度曲。倘若《进酒歌》由她唱出，珠圆玉润，在荷香鸟语之中，该是多美的情调。
《一世歌》，则是他晚岁劝世之作，伯虎须发已经罩上一片花白，正是《进酒歌》里所描绘的那样：“老去萧萧空奈何”、“朱颜零落不复再”。唐伯虎以苍凉的音调，唱向尘世间痴迷的大众：
“人生七十古来少，前除幼年后除老；中间光景不多时，又有炎霜与烦恼。过了中秋月不明，过了清明花不好；花前月下得高歌，急须满把金樽倒。……”（注十五）
歌声缭绕中，唐伯虎心下却先自悲伤起来；他想到如果徐素未死，能在寺前和胜景间，按节清唱，不知能够唤醒多少愁忧自煎，触处烦恼的呆痴汉。
睹物思人、触景伤情；以“刻骨铭心”来形容伯虎对徐素的感情，似乎并不为过。偶然一阵风雪，拂过庵后的修篁，他会想象成徐素病中的幽叹。拈起珍藏着的徐素信物，他那模糊的泪眼，就会浮起写给徐素花笺上的字句：
“……仆惜玉有心，护花无计；对此情境，亦惟仰天叹息耳！……”（注十六）
“……他年炼就轻如叶，醉踏风梢散袖行。”望着数月前的扇面，有时伯虎也意识不清究竟怎样写出那数枝朦胧的凉意！诗中所描写的，到底是自己心灵的淡远，或是已仙去的徐素的倩影幽魂？