张国焘的人生再次发生重大转折是1927年蒋介石四.一二政变之后。党内对陈独秀投降路线的反对使陈黯然退出领导中心，张国焘也被视为“老右倾”，处于非常尴尬的境地。为反抗蒋介石、汪精卫的屠杀政策，中共临时中央决定举行南昌起义。起义前夕，共产国际来电，认为“起义如有把握可举行，否则不可动”。临时中央委派张国焘以中央常委身份由武汉去南昌，传达共产国际意见。到达后，他却片面强调“起义要慎重”，“须得张发奎（国民革命第二方面军总指挥）同意”，遭到恽代英、周恩来等人坚决拒绝。张见自己非常孤立，改口同意举行起义。起义爆发后，他随义军一路南下潮洲，失败后经香港潜回上海。11月，以瞿秋白为首的临时中央因其“反对（南昌）暴动”，“使全体同志受很大影响，（南昌起义时成立的）革命委员会也随之动摇”为理由，将张国焘从中央政治局和中央执委会除名。
张国焘再次从革命的“浪尖”跌到“谷底”。
张国焘在上海一直闲居了8个月。这是他投身革命数年来心境极为黯淡的时期。
他曾试图与隐居上海的陈独秀另组“工农党”，与中共分道扬镳，没有成功，只得作罢。此后他便在党内充当反对派，瞿秋白等人认为他是“老右倾”，他则将瞿秋白等人称为“盲动主义”。1928年5月，中共“六大”即将在莫斯科召开，临时中央“八七会议”后领导的三大武装起义均告失败，共产国际对于以瞿秋白为首的领导班子亦不满意，张国焘便以党内反对派的身份受到邀请，赴莫斯科参加“六大”。
张意识到这是自己“革命生涯”的一个转机，主动在会上做“检讨”，表示服从共产国际和中央，在共产国际操纵下，重新进入中央委员会和政治局，却没有真正受到信任。他被留在莫斯科中共驻共产国际代表团工作，一边去列宁学院“学习”。
其后一年半里，他在莫斯科经历了俄共的“清党”斗争，并与共产国际东方部中国部部长米夫及当时还是列宁学院学生的王明等“二十八个半布尔什维克”交恶。他的日子，并不好过。
张国焘一直在观察时机，想离开苏联回国。1930年6月，“立三路线”受到共产国际批评。7月，张国焘写信给共产国际执委会，反对“立三路线”，要求回国“工作”。8月，共产国际没有让他回国，却将瞿秋白和周恩来派了回去。9月24日，中共六届三中全会在上海召开，纠正“立三路线”，停止全国总暴动和集中全国红军向中心城市进攻的计划。但是，共产国际却指责六届三中全会犯了“调和主义错误”，“没有提出并解决革命现阶段的现实任务”。此时已回国任职于中共中央宣传部的王明等人趁机反对三中全会决议，在中央机关引起轩然大波。12月，共产国际执委会讨论“立三路线”问题，张国焘在会上正式宣读了自己“承认错误”的声明，按照共产国际的调子批评李立三“是半托洛斯基的冒险主义”，“执行了反马克思主义反列宁反国际的路线”，同时指责瞿秋白主持的三中全会“有了两面派的对待共产国际的态度”，再三表示自己“服从国际路线”。共产国际诸要人这时终于感到放心，同意张国焘回国。12月末，张国焘携妻子杨子烈，也是终生陪伴他在加拿大度过凄凉晚年的结发夫妻，登上开往远东的列车，离开莫斯科，次年1月20日回到上海。这时，共产国际代表米夫操纵的中共六届四中全会已开过，三中全会组成的中央政治局被改组，瞿秋白、李立三从政治局除名，周恩来受批评，王明成为政治局委员，“王明路线”对中国共产党长达四年之久的统治时期开始。张国焘原与米夫、王明不睦，此次回来，见王明一派成了共产国际的“宠儿”，在政治局内占了多数，不得不向王明靠拢。他在党刊《实话》上发表文章，表示坚决拥护“四中全会路线”，吹捧“陈绍禹同志等是坚决执行国际路线和党的路线的最好的同志”，反对“所谓陈绍禹派”，“就是藉反对所谓陈绍禹派之名，反对党和（共产）国际。”张国焘是老资格的中共领袖，作为反对派仍然颇具威望，如此热烈地赞颂一个年仅二十六岁、刚刚成为政治局委员的王明，实在令王明及其追随者十分高兴，莫斯科的旧怨一扫而去。这样，张国焘就以又一次机会主义表演，为回国后进入中共领导核心铺平了道路。2月，按照共产国际的意见，张国焘成为中共临时中央的三位常委之一。
四中全会既以反对三中全会对“立三路线”的“调和主义错误”为宗旨，会后在全党继续肃清“立三路线”、纠正“三中全会错误”就成了急务。新成立的中央政治局决定向各地派遣中央代表、代表机关和领导干部，“改变领导路线”。3月10日，政治局决定在鄂豫皖苏区成立中央分局，代表中央统一领导长江以北苏区和白区党的全部工作，由中央宣传部长沈泽民出任书记。就在沈泽民、张琴秋夫妇扮成富商从正阳关乘小船一路顺风到达金家寨之际，张国焘突然自告奋勇要去鄂豫皖工作，并得到政治局中占多数的王明等人的支持，中央政治局又做出决定，派张国焘出任鄂豫皖中央分局书记，把沈泽民给挤了。
张国焘想，现在“物归原主”了。他很快就确定了一个基本方针：让愿意走的走，让愿意留的留。
“泽民同志的话也有道理，”他粗暴地说，“苏区既不能丢下不管，红军为避免更大损失，也不能不跳到外线活动一个时期。……这样吧，将七十四、七十五师、独立四师、独立一师一个团和一个独立团留在苏区，由鄂豫皖省委和泽民同志统一领导，坚持斗争，中央分局其他领导率红四方面军总部及红十、十一、十二。七十三师和少共国际团暂时跳出敌人包围圈，到平汉路以西寻找红三军，一起活动……如果没有不同意见，就这样定了！”
沈泽民可能没有想到会有这样一个结局。但张国焘一旦做出决定，他却没有再与张争论。他心里大概已经认定，无论他再说些什么，都无法阻止张国焘带红四方面军主力“逃跑”了。这是张国焘“右倾机会主义本质”的一次必然的大暴露。让沈泽民真正痛心的是红四方面军主力撤走意味着的那些事物：鄂豫皖苏区将全部丧失，长江以北曾经出现过的、以鄂豫皖苏区为中心的大好革命局面的总崩溃。这是反革命的胜利，革命的失败，张国焘应为这种局面负主要责任。
不可否认沈泽民在执行“左”倾路线上比之张国焘有过之而无不及，但在人格品位上却和张国焘大相径庭。中央给鄂豫皖苏区的指示信中曾指出“国焘同志与泽民同志之间的关系是不正常的”。也许他们的裂缝从到鄂豫皖来的那一天就有了，老谋深算的张国焘和光明磊落的沈泽民开始都为了什么而走向一致，从而决定了今天不可避免的分道扬镳。
对于徐向前来说，黄柴畈会议上发生的张、沈二人的争论是没有意义的。红军已不能在老区内继续支撑，她必须走，不走不行。不是谁想要离开苏区，而是蒋介石逼得我们不能不离开苏区。至于在第四次反“围剿”的斗争中分局领导和四方面军的指挥员有无错误，以后可以加以讨论，以汲取经验教训，现在的当务之急是赶快带部队跳出敌合围圈。但是张、沈争论的结果还是让他松了一口气；张国焘决定留下部分红军与地方武装一起坚持斗争，这对牵制敌人，掩护主力突围，对日后红四方面军从外线打回来，恢复苏区，从军事上说也是很好的安排。徐向前只是觉得会议结束得太仓促，没有就红军越过平汉路西上的战略方针做深入的研究。红军面临着一个新的更困难的斗争时期。沈泽民的话有些道理，她失去了根据地，也就失去了根据地的党组织和苏维埃政府，失去了群众支持。世界上任何一支军队都不可能长期失去后方。按他的想法，红军西出平汉路与红三军会合，主要目的应是跳出敌人包围，获得帮助和休整，以便于在适当时机杀回苏区。毕竟，这块根据地也是他浴血奋战，一点点发展起来的，就感情而论，他比张国焘、沈泽民对大别山更有感情。
会议结束后各部立即行动。为制订突围计划和筹措干粮，全军用去了一天时间，11日晚上，张国焘、陈昌浩、徐向前率领鄂豫皖中央分局机关、四方面军总部以及红十、十一、十二、七十三师、少共国际团共十三个团，兵分两路，穿越敌封锁线，向平汉路西行。沈泽民则和留下来的红七十四、七十五师及鄂豫皖省委的领导人徐宝珊、吴焕先、徐海东、高敬亭一起，向北转移，进入七里坪地区的山中。出发之际，张国焘深知这一行动所要担负的重大责任，又深恐报告了得不到批准，便没有向中央报告。
1932年10月12日夜，凄风苦雨之中，两万多名大别山儿女踏上漫长的西征之程。
出发时他们并没有太多的悲伤，因为许多人并不知道部队要向哪里去，那些极少数了解部队行进目标的人，也没想到他们将一去不返，包括张国焘、徐向前、陈昌浩在内。预感到而不是确切知道这一点的只有一个没有走的人，他就是鄂豫皖省委书记沈泽民。
在那个月亮像一把用旧了的镰刀、只有一手宽的夜晚，沈泽民仿佛听到莽莽大山之巅、漫漫苍穹之中传来阵阵雁鸣！