文天祥知瑞州时，考虑到大弟文璧在瑞州治下的新昌县任知县，老家无人照顾，就把母亲和家室都接了过来。文天祥的妻子欧阳氏，出身书香门第，有人说她是欧阳守道的重孙女，又被指为误传。其父欧阳汉老曾于绍定四年（1231）和嘉熙元年（1237）两次参加科举考试，史称其孤忠大节。受家庭影响，欧阳氏知书达理，贤惠善良，后来在战乱中跟着文天祥颠沛流离，绝无愠色，空坑之战时陷入元军之手，文天祥写诗抒怀：“结发为妻子，仓皇避乱兵。生离与死别，回首泪纵横。”可见夫妻感情深厚。十五岁的小弟文璋也跟着来到瑞州，自二弟霆孙病死后，文天祥疚痛不已，对小弟文璋呵护备至，曾把老同学聂吉甫请到家中给他授课。度宗咸淳元年（1265），根据文天祥享有恩荫及子的权利，因当时还没有儿子，便将文璋奏名朝廷，获得一个将仕郎的官衔。
文天祥初任地方官不满一年，遗爱在民，颂声不绝，景定五年（1264）十月，朝廷把他召回临安，授予礼部郎官。那篇出自马廷鸾手笔的诰词说：“尔藻思清新，词华繁茂，业进素定，非徒托于高名；慷慨敢言，盖已观其初节。擢从郡最，登之郎闱。”诰词充分肯定了文天祥的德行与功业。
可这个礼部郎官没有做成。一个月后，他还没上任，旋被改任江西提刑。
这期间发生了一件大事。就在十月二十六日，突然病倒的理宗皇帝驾崩了。皇太子赵禥继位，是为度宗，下诏改年号为咸淳元年（1265）。
文天祥的改任，表面看来似乎是由于新皇帝上台重新调整人事，但从以后发生的事情看，更像是由朝官放到地方的贬黜。甚至，任礼部郎官就是为了把他从瑞州支开，是有人从眼里摘沙子。
对新的任命，文天祥辞免不就。这从表面看来，也似乎是他在瑞州正干得顺风顺水，且刚安顿好母亲家室，但从后来的情况反推，却也更像是他感悟到了更多的内幕，表达了一种抵触的情绪。
朝廷不准请辞，新到诏书口气十分强硬。文天祥一直拖到第二年才办好交割，到江西上任。
江西提刑即江南西路提点刑狱公事，掌管江西一路的狱讼及纠察不法等事。到职后，文天祥一如既往地践行公道直道，为政肃民清连出举措。时逢度宗即位，文天祥宣布大赦，“时大赦后，推广德意，全宥居多。惟平寇扶楮，稍振风采”。同时支持纸币流通，成效初显。
然而就在此时，文天祥竟遭到台臣黄万石的弹劾，被罢了官。
台谏原为忠告皇上、纠弹官邪而设，后来被权臣控制，成了结党营私、排斥异己的手段。黄万石是什么人？此人是贾似道的亲信，是个品质卑劣的小人。由此可否看到黄万石身后有贾似道的影子？可否看到文天祥对贾似道的笼络不理不睬，遭到了忌恨？可否看到越是才华过人而不为己用者，潜在的威胁越大，贾似道必欲打击压制？
重要的是，黄万石弹劾文天祥不称职，从二月上任到四月罢官，只短短两个月，文天祥怎么不称职了？他究竟做错了什么？
是指平反与改判陈银匠一案吗？
文天祥上任第二天，就被一位举着状纸的白头老妇挡了轿。原来，临江（今江西清江县）城中金地坊有个姓陈的银匠，偶见有人背着一袋关子和会子（南宋发行的纸币），下意识地叹了一声：我们这样穷，就差这一包钱呀。不料第二天早上，携纸币者被发现死于慧力寺的后山中。捕司调查案情时，有个卖糕点的小贩举报了陈银匠说的话。陈银匠被屈打成招，判处死刑。这位白头老妇就是陈银匠的寡母，她对文天祥说，儿子死得冤枉，杀人凶手不是她儿子，杀人凶手姓李，住在府衙后街，劫得的纸币就藏在他家暗阁上的竹笼里。文天祥问她何以知情。她说是儿子托梦告诉她的。临刑前，陈银匠对她说，儿子不孝，不能给你养老送终了，望能在我死的地方烧些纸钱，求土神把我领到杀人贼犯的家。老妇说，一个月后，儿子果然托梦把真凶告诉了她，并指出了隐藏赃物的地方。
文天祥当然不信托梦能灵验，但会不会有知情者出于正义感，出于对老妇的同情，把真相捅给了老妇，又不愿暴露身份，就同老妇一道编造了这个故事呢？文天祥马上亲自领着人侦查，果然在老妇指的地方起获了赃物。判陈银匠就凭他说过的一句话，现在有了真凭实据，文天祥据此对案子重新作了判决，判凶手李某死刑，为携带纸币人偿命。更为关键的是，判了推司及原捕人死刑，为陈银匠偿命，并由官府为老妇赡养送终。老妇闻之大哭，大呼青天，观者无不击掌动容。
此案中是否另有栽赃？文天祥疾恶如仇，杀了制造冤案、草菅人命的官吏，用法是否过于严厉？史书再无记载，黄万石也语焉不详。
但文天祥严刑峻法，推行公道直道，触犯了贪官污吏的利益，震动上下，搞得人人自危，从而遭到嫉恨，却是肯定的。
其实，也不是因为这一件事，而是因为你是这样一个人。你是这样一个人，不是这件事也会有别的事。也就是在这个当口，一些人有组织地搞了一册《龙溪友议》，印了一万多份，在江西、福建和广东等地到处散发，攻击文天祥违反礼制，不守孝道。
事情缘起文天祥的伯祖母梁夫人去世。梁夫人本是文天祥的亲祖母，但因父亲文仪过继给了叔父，梁夫人就成了文天祥的伯祖母。梁夫人在丈夫去世后又改嫁到了刘家。所以，梁夫人从血缘上讲，是文天祥的亲祖母，但从宗法关系上讲，却是伯祖母。因此她去世时，文天祥按宗法关系，视她为伯祖母，并尊重她改嫁的选择，按礼向朝廷申请承心制，也就是丧事相对从简，只服心丧，不穿丧服。这本是符合封建礼教的，但攻击者却不顾事实，抓住梁氏是他的亲祖母不放，说他隐瞒事实，不持重服，给他扣上了违礼、不孝的大帽子。这一罪名如坐实，足以在政治上置人死地，且不齿于士林。
这一招何其阴毒！你不是讲公道直道吗，不是讲纲常礼教吗，你不是正人君子吗？我就针锋相对，直击你的命门。
文天祥极为愤怒。他据理一一申辩，并要求朝廷主管礼仪的太常寺调研一番。他的老师欧阳守道和曾凤都为他打抱不平，著文对那伙人加以批驳，说明梁氏既已改嫁，死后持重服的只能是刘氏子孙，而文天祥只当承心制，痛斥那伙无赖援引古经不伦不类，存心“于无过中求有过”，但又告诫文天祥，此事“于世教人伦有关系，不可于流俗误方来”。
欲加之罪，何患无辞。这完全是政敌式的攻击，无论有据无据明打暗算，无论是泼脏水扣屎盆子，均有杀伤力，均能造成伤害。虽说文天祥最终打赢了官司，却糟了他的心，对罢他的官起到了助纣为虐的作用。
咸淳元年（1265）四月被罢官，文天祥愤然回到家乡庐陵。
想起朝廷诰词评价自己“慷慨敢言，盖已观其初节”，这真是一个绝妙的讽刺！自己一腔热忱，法天地不息，想为民造福，想有所作为，想以一己之力在黑暗的政治生态中搏出一角清明，却被黑白颠倒遭此困厄，心中是万分不服。后来在第三次被逐出官场后，他在给太常博士朱埴的一封信中说，对于世道如此险恶，内心十分愤慨，几个月来自己的血肉之躯如立砧板之上，任人宰割，难道是自己得罪过什么人了吗？没有，只因刚介正洁，为他人不容，但自己不会屈服，这绝不会改变自己的本性。
说自己从来没得罪过什么人，就是已经意识到得罪了什么人了，不说别的，单是两次上万言书乞斩、乞罢董宋臣，就把朝廷里的佞官全得罪了。他深感仕途祸福难料，在给相命先生杨桂岩的诗中说：“荣悴纷纷未可期，夕多未振已朝披。得刚难免于今世，行好须看有验时。萱昼堂前惟有母，槐阴庭下岂无儿。好官要做无难做，身后生前是两岐。”当官刚直未必就有好报，要想身后留取清名就得准备身前遭祸。
归家隐居期间，忽发现离家门只几里远的一处山水十分幽美。这是富川上游的一处山水，这里“溪山泉石，四妙毕具。委曲周遭，可十余里。盖其景趣，兼盘谷环滁而有之。而其旷远缥缈，或谓南楼劣焉”，这实在是一处修身养性、舔慰伤口的好去处。
文天祥便为它取名文山，想着把此处辟为内心的栖息地。
日日骑马来山中，归时明月长在地。
但愿山人一百年，一年三百余番醉。
早上带着酒壶饭囊骑马进山，让身心沐浴着幽静美丽的风光，晚来踏月而归，日子过得好不惬意。
宇宙风烟阔，山林日月长。
开滩通燕尾，伐石割羊肠。
盘谷堪居李，庐山偶姓康。
知名总闲事，一醉棹沧浪。
文山能与之媲美的盘谷、庐山以及沧浪亭和环滁，都因名士著文或居住而名于世，文山本也无名，因自己的发现与开辟而命名，自己也以“文山”为号，醉游其间，真是天地开阔日月逍遥啊。
一笠一簑三钓矶，归来不费买山赀。
洞天福地深数里，石壁湍流清四时。
樵牧旧蹊今可马，鬼神天巧不容诗。
先生曾有空同约，那里江山未是奇。
来吧，朱涣介老先生，一道来游文山吧，在这鬼斧神工的诗境中随着清澈的流水畅游四季美景，不是一种福分吗？来吧，老同学胡天牗，来吧，诸位亲朋好友乡邻同道，一道来这里吟诗下棋，赏花弄月，饮酒醉秋，观云听雨，尽享世外桃源的乐趣吧。
有人说这段时间文天祥倾向于道家的出世观念，说这最早是受到外祖父曾珏的影响。曾珏满腹经纶，不求仕进，却迷恋佛家和道家之学，敬奉天神竟不敢轻易言动，每月常有十五六日口不食肉，讲佛教理论能使四座悚然倾听，崇信道教几乎想脱离人世，去求长生不老之术。文天祥从懂事后就常随母亲去梅溪外祖父家，家境困难时，就住在那儿读书，直到外祖父去世，受其濡染达二十年之久。
果真是千年悟道，终归诗酒田园？果真是远离官场的龌龊争斗，忘却世间烦恼，甘于闲云野鹤般逍遥自在的生活了吗？文天祥果真是绝意仕途，不问国事，从此息影林泉了吗？
果真是这样，他就不是文天祥了。
看他内心深处的真实想法究竟是什么？
他曾在《跋番易徐应明梯云帙》一文中，对《易》象中的“屯”和“需”做了一番解读，然后说：“《易》象云者二：一以为君子用世之象，一以为君子乐天之象。《易》于进退行藏之义，各有攸当。予闻之，圣贤畏天命而悲人穷，未尝不皇皇于斯世。然方其初也，守其义不随世而变，晦其行不求知于人，修其天爵，无所怨怼。一日达，可行之天下，正己而物正，而所性不存焉。” 他是说，穷则独善其身，达则兼济天下，遇到世道险阻，君子怀才不遇之时，应当养其气体，和其心志，守其义不随世而变，晦其行不求知于人，顺势而为，保持乐观的进取精神，等待东山再起。
关键是，等待东山再起。
即使给文山景点题名，也暗含着他这样的心性。同窗好友胡天牗曾来文山住了半月，文天祥写信给他说，自己在山间搜奇探幽，又发现两处新景点，一处取名“闳微”，另一处取名“上下四方之宇”，其幽闲旷邈，超伟轩张，又在中矶两峰之间之上；并将原取的景名“翠晚”改为“浮岚暖翠”，“钓雪”改为“六月雪”，“特立”改为“至大至刚以直”。有人推敲说，“闳微”屈张在己；“上下四方”意宇宙在胸；“浮岚暖翠”更显生机；“六月雪”喻事物突破常态，彰显《易经》交感、变化、发展之意；“至大至刚以直”则更能反映至公至直，立于天地之间的精神。这些理解是否恰当姑且不论，但所及景名折射出的绝对是明亮向上而非沉郁遁世的心态。
历史上多少士大夫失意后万念俱灰，归隐林泉，生命格局越来越小，最后消失在生命的庸流中。而文天祥从未放弃士大夫的担当，他带着志向归隐，是对抗着退避，等待重新出山的时机。