危急之下，贾似道几次向度宗奏请，要求亲赴前线巡边，说：“荆襄绎骚，士不解甲者再岁，以文德声望智略，高出流辈，仅能自保。今一失之，奚所统帅？知诸名将器略难齐，势不相下，仓卒谋帅，复难其人。兵权不可一日无所归，边务不可一毫有所误。” 可他也知道，度宗是终日离不开他的。度宗果然也屡屡拒绝了他的请求。
国家危亡紧急，犹如皇宫周围已燃起了大火，你皇帝小儿竟还整日宴饮，搂着嫔妃淫乐！文天祥忧天下之忧，要求度宗振作起来，“无一息不当用功”，以拨乱本、塞祸源。度宗哪能听得进去？又哪有能力听得进去？不单文天祥，度宗身边多有朝臣劝谏，轻则不听，重则招祸，如史馆检阅黄震轮对时，向度宗指出时弊有四：民穷、兵弱、财匮、士大夫无耻；请罢给僧道度牒，收其田所入，以纾民力。惹得度宗大怒，将他赶出了朝廷。
言者谆谆，听者昏昏，荒淫低能的度宗油盐不进、依然故我。
文天祥这次入朝，是江万里举荐的，可他于四月到达临安时，得知江万里已辞去相位。
江万里辞相是因为同贾似道处不下去。吕文德病死后，朝廷调李庭芝接任京湖安抚制置使，督师救援襄樊。蒙军在围攻襄樊的同时，也切断了南宋军队的援路。“天下大势，首蜀尾淮，而腰膂荆襄，自昔所基重也”，襄樊一旦被破，南宋防线将全线崩溃。江万里万分焦急，多次请求派兵增援。贾似道出于私心，对他的提议一概否决。自己这个左相形同虚设，江万里忍无可忍，愤而要求辞职。
这已不是江万里第一次官居贾似道手下，也不是第一次因为不能忍受贾似道要求辞职了。
早在开庆元年（1259），江万里就投到时任京湖宣抚大使的贾似道幕下任参谋官，后贾似道入相，他也跟着入朝做官。起初，贾似道爱他有才，想把他培养成自己的亲信，但很快发现他不是唯诺之徒，遇事有主见，办事并不在意自己的眼色，便因言论不合解了他的职。度宗即位后诏求直言善谏之士，咸淳元年（1265），江万里又入朝任同知枢密院事，由于看不惯贾似道为所欲为，便于同年七月奏请归田，未允。次年正月，贾似道又以辞职要挟度宗，度宗哭着拜留他，江万里上前大叫不可，阻拦道：“自古无此君臣礼，陛下不可拜，似道不可复言去！”再次触怒贾似道。还有皇帝摆经筵时，每问经史及古人姓名，贾似道都犯傻，江万里偏要逞能代答，搞得贾似道又羞又恨。江万里与贾似道每每相忤，不得已四次上书求退，下放到湖南做官。
当年吴潜反对立赵禥为太子，贾似道撺掇理宗罢了他的左相。仗着拥立赵禥当皇帝有功，加上皇帝低能，如今的贾似道更是飞扬跋扈、权倾朝野，擅政程度甚于秦桧、史弥远。一次，贾似道召集百官议事，忽然厉声说：“诸君若非似道拔擢，安得至此！”众人都不敢作声，唯有礼部侍郎李伯玉反驳说：“伯玉殿试第二名，平章不拔擢，伯玉地步亦可以至此。”贾似道怒而一巴掌把他打出了朝廷。
贾似道早不把江万里放在眼里了，你才当了几天左相就乞祠，那就按你的旧职提举洞霄宫，赋闲去吧。
刚抵京的文天祥见江万里辞去了相位，心意落寞，便前往看望恩相，并写了《临岐饯别》一诗：
圣恩优许力求田，把酒临岐饯一杯。
台阁是非远已矣，乾坤俯仰愧何哉？
竟追范蠡归湖去，不管胡儿放马来。
强圉倘殷如孔棘，也应定策救时危。
在文天祥心目中，江万里“都范（范仲淹）、马（司马光）之望于一身”，评价其学问名节说：“修名伟节，以日月为明，泰山为高；奥学精言，为天地立心，生民立命”。但他对江万里辞相不无抱怨，认为当此蒙军入侵之时，当以自己的智慧参与决策、拯救国难才是。
他们不免要谈贾似道，为在国难危重之时由他把持着军政要枢而深感忧虑。
没承想事隔不久，文天祥便也与贾似道直接交恶，受到了贾似道的打击报复。
文天祥是怎么与贾似道交恶的呢？
咸淳六年（1270）六月，贾似道突然又称自己病了，要求退休回绍兴。这还了得，贾似道是度宗的主心骨，在大敌当前内外交困的当口，听说贾似道要走，低能的度宗一下变得六神无主，赶紧叫右丞相马廷鸾、同签书枢密院事赵顺孙出面劝阻，同时自己下诏挽留。这起草诏令的事，正好轮到兼任学士院权直的文天祥头上。
贾似道辞职退隐的把戏已玩过多次。咸淳元年（1265）三月，度宗刚当上皇帝，贾似道在理宗下葬后，即借口援引惯例，上章要求辞去相位，也不管度宗答应与否，径自回到他在绍兴府的私第。然而，不久他就被朝廷的大轿抬回了临安，因为他在辞相的同时，暗地里又指使荆湖安抚使吕文德谎报军情，称蒙古军攻打下沱（湖北枝江县东南）甚急，搞得度宗惊惶失措，直感到离开了贾似道一天也不得安生，赶紧派人跑到绍兴府求他归朝。这无疑是给了度宗一个杀威棒。见这一招颇灵，咸淳二年（1266）正月，贾似道又要弃官，度宗竟不顾君臣名分哭泣拜求，在江万里的斥责下才得以收场。咸淳三年（1267）二月，又故伎重演，又把度宗搞得哭哭啼啼地哀求。咸淳四年（1268）五月重新来过，度宗跟着重新来过。这回，咸淳六年（1270）又来了。
贾似道玩这套把戏，一是想通过要挟度宗，抬升自己的权威，获取更大更多的权力和好处，同时因为他推行公田法、推排法，得罪了许多官僚和将领，在统治集团中陷入孤立，想借此转移矛盾，减轻压力。他的目的达到了，如咸淳元年（1265）四月，度宗特授他为太师，封魏国公；咸淳三年（1267）二月，又授平章军国重事，位在丞相之上，准他一月三赴经筵，三日一朝。
司马昭之心，路人皆知。因此只要这出戏一上演，为皇帝起草诏令的官员就知道该怎么做，无非是配合贾似道，奉承颂扬他一番。
但这次碰到的是文天祥。
景定二年（1261）初任京官时，文天祥虽然给贾似道写了一封不卑不亢的信，但对他的印象并不算坏，甚至觉得他还是个能相。
当时正值鄂州解围不久，贾似道一面隐藏着一个弥天大谎，一面指使同党门客撰文编书吹嘘他的战功。一个叫廖莹中的门客编写了一本《福华编》，其中一阕《木兰花慢》咏道：
请诸君著眼，来看我，福华编。记江上秋风，鲸漦涨雪，雁徼迷烟。一时几多人物，只我公，只手护山川。争睹阶符瑞象，又扶红日中天。因怀下走奉橐鞬，磨盾夜无眠。知重开宇宙，活人万万，合寿千千。凫鹥太平世也，要东还，赴上是何年？消得清时钟鼓，不妨平地神仙。
贾似道被吹成以手护山川、扶红日的旷世奇才。还有，他力推公田法和打算法，为朝廷敛财、缓解财政危机，遏制军中将帅贪污、擅用军费，确乎颇见成效。这也是朝中称他周公、魏公，度宗极度依赖他的部分原因。
可时间一长，文天祥不仅看到了远处的他，也看清了近处的他；不仅看到了正面的他，也看清了背面的他；不仅看到了他的表面，也看清了他的内心。
贾府与皇宫相隔着西湖，文天祥亲眼看到，早晨上朝的钟声响过，贾似道才下湖。船不是撑过来的，是系在一条粗缆绳上，由十几个壮夫推动绞盘拉过来的。更荒唐的是，贾似道还带着蟋蟀上朝议政，廷上不时传出虫鸣声，有一次蟋蟀从他的水袖里跳出，居然跳到了皇帝的胡须上。
文天祥知道，而今襄樊已经危在旦夕了，贾似道仍怠于政事，公文由胥吏抱回家，包括前线送达的边报，全由门客廖莹中、堂吏翁应龙裁决，他顶多是签个名。他自己拥着一群娼妓、尼姑和旧宫女，整天在西湖上游乐，被嘲为“朝中无宰相，湖上有平章”。或者同酒朋赌友在一起，日夜喝酒淫戏。一天，他趴在地上与群妾斗蟋蟀，一个熟悉的赌友见之调侃说：“这就是平章的军国重事吧？”他居然还笑，还不生气。为了玩，他可以不择手段，他酷嗜宝玩，谁有好东西不给他，就会被治罪，为得到随葬余玠的一根玉带，竟然掘坟开棺取夺。如果有谁败坏了他的玩兴，他下手极狠。一姬妾的哥哥想入府门，搅扰了他，就下令把人家捆起来扔进火堆。另一姬妾倚楼望见俩少年，夸了一声美哉二少年，贾似道说：好，我让他们来聘娶你。过了一会儿，贾似道召集诸姬妾说：刚才收到俩少年的聘礼。打开一看，竟是那个姬妾的头颅。
至于贾似道在朝中独断专行，笼络亲信，排除异己，不要说耳闻目睹江万里等人的遭遇，文天祥自己在被他的反复捉弄中，便有切身体会。
贾似道的所作所为证明他是个假道学家，他推行公田法、打算法背后的动机，就不能不让人生疑。他要求亲征前线，谁又知会不会指使人向皇帝巧言劝阻呢。
因此，当文天祥替皇帝草拟诏书时，绝不去曲意吹捧，而是奉行公道直道，义正辞严地拟写了两稿。第一稿说贾似道去职有违人心，不同意他去职，要求他“尚鉴时忱，永绥在位”，措辞还算委婉。而第二稿就没那么客气了：
周公相成王，终身未尝归国。孟子当齐世不合，故致为臣。盖常情以去就为轻，惟大臣以安危为重，苟利于国，皇恤其身？若时元勋为我师相，先帝付托，大义所存；太母留行，前言可覆。胡为以疾而欲告休？药惟医所以辅精神，惟安身所以保国家。古者之赐几杖，虽当七十，而不得引年：我朝之重辩章，虽年九旬，而尚使为政。勉厘重务，勿困眇怀！所请宜不允。
文中显有批评之意，说像周公、孟子这样的贤人，都以国家安危为重，不以身体原因言退。古代大臣七十岁还不得引退，我朝年过九十者还在问政。你贾似道不过五十多岁，身为师相，何以借口有病而告退呢？有病可以吃药，安身本为保国。还是勉力工作吧，不要只想着自己。
宋朝的规定，凡草拟之诏令，先要经“当国”过目，再送皇帝，贾似道把得更严。文天祥知道送给贾似道必经篡改，偏不送他，而是直送度宗。这样做倒不是怕他篡改后对他有什么利，满朝的恭维够他受用的，文天祥这样做，就是要声张公道、直道，就是要表达对你贾似道胡作非为的不满。
他当然知道这会招致贾似道的打击报复，影响自己的仕途，但他不在乎。几年前任江西提刑秉公道执法，触犯了宵小之人，被黄万石弹劾罢官时，他曾赠与相命先生杨桂岩一首诗，表达要想留取清名就得准备招祸的胸臆。这次离任宁国府来临安前，又遇到了那位相命先生，并再赠他一首诗：
贫贱元无富贵思，泥涂滑滑总危机。
世无徐庶不如卧，见到渊明便合归。
流落丹心天肯未？峥嵘青眼古来稀。
西风为语岩前桂，若更多言却又非。
本来是为了报效国家而非利禄富贵出来当官的，岂料几次出仕屡被罢官或调任，有的任期只一个多月，甚至还未上任即被罢免，仕途如同雨后湿滑的泥途步步藏着危机。世上既然没有像徐庶那样举贤荐能的人，不如学诸葛亮高卧南阳躬耕陇田；如果见识有如陶渊明，能不为五斗米折腰，就应该辞官归隐。但怀着赤子之心想归隐，上天能答应吗？而有经验、有眼力的识才之人却又少之又少。你也别说什么鹏程万里、前程远大的话，免得弄得人心烦。
当官，还是不当官，是一对矛盾。文天祥的态度是：达则兼济天下，穷则独善其身，能当就当，不能当就不当。
虽然文天祥绕过贾似道，但在诏令下达前，贾似道当然要先看到。文天祥草拟的诏令当然不合他意，于是他指使别的直院官按照自己的意思重拟诏令，并当然地为皇帝所采用。
诏令一出，文天祥十分气愤，立即上奏章，“引先朝杨大年在翰林草诏，以一字不合真宗圣意，明旦援唐故事，学士做文书，有所改为不称职，当罢，因亟求解职，丐祠引去”。贾似道一怒文天祥草拟诏令不给自己看，二怒没有吹捧自己，心里恨得要死，暗地里指使台臣张志立弹劾文天祥，表面上却假惺惺出面慰留，还装模作样地对改用诏令解释了一番。早就领教了贾似道阴险狡诈的文天祥不为所动，再次上奏求去，不等批复就整束行李准备出发。
罢免令下来了，罢免了文天祥的所有官职，甚至连祠禄都不给。
这是文天祥第三次被逐出官场，第四次被罢官。