文天祥的同督府第一次从南剑州移驻汀州，是景炎元年（1276）十一月。就在这个月，流亡小朝廷弃福安入海南逃。浩浩荡荡的船队到达泉州的时候，福建、广东招抚使兼提举市舶蒲寿庚前来谒见，请流亡政府驻驾泉州。蒲寿庚是个阿拉伯富商，曾因协助官兵击退猖獗的海盗有功，被朝廷授官，得以把持这个港口城市的外贸达三十年。张世杰看出他并非真心实意，甚至是不怀好意，没有买他的账，而是将船队转移到了潮州。由于数十万人漂泊海上，缺少船只和给养，张世杰又反身泉州，抢夺了蒲寿庚的海船和财产。蒲寿庚大怒，索性撕掉伪装，杀尽泉州的赵宋宗室、士大夫和淮兵，以城降元。小朝廷在潮州也无法立足，又转往惠州。
同督府军取得江西大捷的景炎二年（1277）七月，小朝廷已移至广东的浅湾（南澳岛）。此时，张世杰见元军撤减了兵力，按捺不住缠绕在心头的国仇私恨，又亲率淮兵攻打泉州，报复蒲寿庚。汀州、漳州地区的农民起义首领陈吊眼和畲族女豪杰“许夫人”，也率义军前来会攻。蒲寿庚自知无力抗衡，采取龟缩战术，凭你怎么叫城，就是坚避不出。张世杰费了两个月的工夫，也没打下来，加上元军开始反扑，只得收兵至浅湾。
十一月，元军元帅刘深率舟师从海路攻打浅湾，张世杰不敌，拥小皇帝退走秀山（广州南珠江口）。后来又向井澳（广东珠江口外大横琴岛、小横琴岛海湾间）转移，途中陈宜中见事不可为，借口去占城（今越南中南部）调兵，从此一去不返，再一次私自逃跑。十二月，井澳遭到飓风袭击，舟船沉毁无计，兵士溺亡过半，小皇帝惊恐成疾。刚收拢残兵，刘深又攻至，小朝廷仓皇逃往谢女峡（香港九龙）入海。
景炎三年（1278）三月，船队迁到碙州（广东雷州湾外硇洲岛）。四月，年仅十岁的小皇帝赵昰病死，谥端宗。随行遗臣认为这是行朝气数已尽的兆头，多想自谋生路。这时陆秀夫出而大呼：“度宗皇帝一子尚在，将焉置之？古人有以一旅、一成中兴者，今百官有司皆具，士卒数万，天若未欲绝宋，此岂不可为国邪？”在他的鼓动下，众臣于四月十七日拥立八岁赵昺为帝。陆秀夫受命左丞相，与拜少傅、枢密副使的张世杰共撑危局。五月初一，改元祥兴，是为祥兴元年（1278）。幼帝虽立，却朝政不堪，每逢朝会陆秀夫仍正笏肃立，见垂帘听政的杨太后对群臣犹自称奴，常常凄然泣下，以朝服拭泪致衣袖尽湿，左右无不悲戚。
这期间，文天祥于二月出南岭进军海丰，三月，驻屯海丰县南的丽江浦，同时命弟文璧收复了惠州。到了五月，文天祥终于与行朝取得联系，并得知赵昰病死，赵昺做了小皇帝。六月，文天祥将同督府移至海滨的船澳，上疏自劾督师无功，并奏请入觐皇帝。不久，行朝诏书到了，这份出自陆秀夫之手的诏书不认为督师无功，反对他大加奖谕：
才非盘错，不足以别利器；时非板荡，不足以识忱臣。昔闻斯言，乃见今日。卿早以魁彦，受知穆陵（理宗），历事四朝，始终一节。虏氛正恶，鞠旅勤王；皇路已倾，捐躯殉国。脱险机于虎口，涉远道于鲸波。去舛就汤，可观伊尹之任；归周避纣，咸喜伯夷之来。方先皇侧席以需贤，乃累疏请身而督战，精神鼓动，意气慷慨。以匈奴未灭为心，弃家弗顾；当王事靡盬之日，将母成行。忠孝两全，神明对越。虽成败利钝非能逆睹，而险阻艰难亦既备尝。如精钢之金百炼而弥劲，如朝宗之水万折而必东。
行朝奖谕文天祥的言辞可谓毫无保留，然对他入觐请求却“优诏不许”。这个不许，是张世杰不许，不是小皇帝不许，小皇帝做不了这个主，就是说杨太后做不了这个主。不许的理由是随时准备迎候陈宜中还朝。这个理由无需深究，其背后的龌龊一眼就能看穿，不外乎张世杰怕资历和威望远在自己之上、一贯秉奉公道直道的文天祥入朝，会制约自己擅权，限住自己的手脚。此时朝中大权不在小皇帝手里，而在陆秀夫和张世杰两个文臣武将手里，但陆秀夫只能掌笔权，真正的实权掌握在拥有兵权的张世杰手里。一个激赞，一个不许，从两人对文天祥的态度，可见出他们人格的高低和格局大小。
文天祥自劾督师无功，却要为跟随自己艰苦转战的部属表功授职。
他又上了一个奏疏，请求任命邹为右文殿修撰、枢密都承旨、江西安抚副使兼同督府参谋官，赵孟溁为遥县郡团练使、左骁卫将军、江西招捕使兼同提刑督府咨议官，杜浒带行军器监、广东招谕副使兼同督府参谋官，邹臻带大府寺丞、同督府参议官，陈龙复带行兵郎、广东招谕司使兼同督府参议官，章从范带行阁门祇候、同督府计议官，丘梦雷、林琦、葛钟各带行架阁、同督府干办公事，朱文翁同督府准备差遣。行朝很快降旨特予准奏。此前文璧也被任命为权户部侍郎、广东总领兼知惠州。
未几又奏请任命反正归宋的陈懿知潮州，张顺权知循州，李英俊为梅州通判暂权州事。行朝也一一准奏。
每回上奏疏，文天祥都奏请入觐。他也并非一定要见八岁小皇帝，而是要见张世杰和陆秀夫等朝中大臣，与他们面对面商讨救国大计。但张世杰就是不肯。去行朝遭拒，文天祥打算去广州，此时广州失而复得，到那里或可规复两湖。但收复广州的凌震和王道夫却视为来争夺自己的地盘，又不便明着反对，就耍了个花招，派了一些船只说是去迎接文天祥，中途却找了个借口又折回了广州，让文天祥的打算落了空。
张世杰除了不让文天祥入朝，别的要什么给什么，不要也给，文天祥为部下授职的请求全数照准，还赏金三百两犒劳同督府军，八月又加文天祥少保、封信国公的荣誉头衔，并封其母曾德慈为齐魏国夫人，同督府文武官员也各升官职。一个一个封赏的诏书都出自陆秀夫手笔，但文天祥知道，这里面多半是张世杰的主意。张世杰并非一个胸怀坦荡乐于成人之好的人，他一方面坚拒你入朝，一方面又大方地给你好处，他干吗这么做？这不明明白白告诉你，你文天祥一门心思想入朝，不就是要攫取权力、博取功名吗？那我们就达成默契，你想要的我都给你，你也别一个劲地往皇帝身边钻了。这对文天祥是极大的曲解，极大的侮辱。都什么时候了，还为争权夺利这么兄弟阋墙无休无止地内耗，真是病入膏肓不可救了！文天祥怒不可遏，写信给陆秀夫，说：“天子幼冲，宰相遁荒，诏令皆出诸公之口，岂得以游词相拒！”直截了当地谴责了张世杰阻拦他入朝的行径。陆秀夫捧书，只是苦笑和默然。
文天祥受阻船澳期间，当地正流行疫情，军中大批士卒染疾而亡（有说死者过半）。文天祥的老母曾德慈也不幸于九月初七病故，享年六十五岁。自德祐元年（1275）江西沦陷后，老母时而跟着文天祥，时而跟着文璧，在兵戈纷乱中过着颠沛流离的日子，但她一直淡然处之。曾德慈入殓时，在场的有文天祥和长子道生、小弟文璋，从惠州闻讯赶来船澳的大弟文璧，还有近几年跟在老母身边服侍的二妹文淑孙。老母入殓后，由文璧、文璋、淑孙和道生护送灵柩至惠州，暂时殡于河源县义合乡古氏之里。
入朝不准，去广州无望，文天祥想到了潮阳。此时，同督府在潮阳设的分司，在陈龙复的率领下应接诸路，四方豪杰翕然响应，增兵积粮有了一定的基础。在潮阳能否“以立中兴之本，亦吾国之莒、即墨”呢？即潮阳能否成为齐国赖以重振的莒和即墨呢？除了潮阳别无选择。作此决定还有一个考虑，盘踞潮州的陈懿反正归宋，经文天祥奏请，做了知潮州兼管内安抚使，可听说元将张弘范将率舟师来犯，又倒了过去。大盗陈懿叛附无常，杀人抢劫，与其他四兄弟并称“五虎”，当地上万士民请求同督府迁往潮阳，讨伐陈懿。文天祥决定进军潮阳，也是想为民除害。
十一月，同督府兵抵潮阳，击溃陈懿的同伙刘兴，俘斩于市，陈懿逃往山寨。