抗日战争爆发以后，饶漱石由苏联回国。1940年夏天来到新四军，出任中共中央东南局副书记，协助东南局书记项英的工作。
1941年1月发生了皖南事变，叶挺、项英率新四军9000多人开始北移。新四军政委项英私自离队自行突围，后被叛徒杀害。突围的新四军将士浴血苦战8昼夜，终因寡不敌众，弹尽粮绝，除少部分人分散突出重围外，其余分别被打散、被俘或牺牲。此时，党中央指示由饶漱石与叶挺全权负责指挥部队突围，重大军事行动由军长叶挺作最后决断。由于战局急剧恶化，党中央在一份电报中指示部队“可与包围部队首长联系”。
新四军被包围后，饶漱石极力说服叶挺利用自己的特殊身份下山与国民党军队谈判，叶挺下山后即被国民党军队扣押。1月20日，中央军委发布命令，任命陈毅为新四军代理军长，刘少奇为政治委员。3月27日，中共中央决定成立中共中央华中局，统一指挥华中地区的党政军工作，由刘少奇担任书记。在实行党的一元化领导后，华中局书记的地位显得愈加重要，成为华中地区党政军的最高负责人，位高权重。
突围部队被打散后，饶漱石利用身上藏的新四军军费黄金，侥幸逃出了敌人的魔掌，在地下党和人民群众的掩护下，从皖南脱险去上海休养了一段时间，后由党的地下组织派人护送到苏北盐城的中共华中局和新四军新军部。5月，饶漱石被任命为华中局副书记兼宣传部长，华中军分区常委，同年兼任新四军政治部主任。
1942年3月4日，刘少奇在中共华中局第一次扩大会议总结时说：“中央有电报来，调我回延安，以后华中局书记由饶漱石来代理，军分会由军长代理，我恐怕不久就要动身。”党中央调刘少奇回延安的主要任务是筹备召开党的第七次全国代表大会。5月13日，中共中央再次致电华中局：“中央决定少奇同志回延安参加七次大会。少奇同志来时，由饶漱石同志代理中原局书记并代理新四军政委，望少奇同志即将工作交代，携带电台，动身回延。”
临行前，刘少奇特地召集华中局、军分会的几位领导当面交代：“华中局、新四军的工作应以陈毅同志为领导中心，他领导工作有经验，军队工作搞了很久。华中局书记和政治委员由饶漱石代理，实际工作还是要依靠陈毅同志。”
刘少奇走后，中共华中局与新四军的大权实际上掌握在饶漱石的手中。饶漱石很清楚，自己资历浅，缺乏党政军全面的领导经验，对各方面又了解甚少，不敢上任伊始就夸夸其谈，不得不向代理军长陈毅请教。性情耿直的陈毅，光明磊落，对饶漱石热情相助。后来饶漱石对情况日渐熟悉，处理问题逐渐主观臆断，权力欲随之增长。1943年4月，中共中央发出《关于继续开展整风运动的决定》，饶漱石为了争夺新四军中的领导权而发起了反对陈毅的“黄花塘事件”。
1943年10月16日，中共中央军委新四军分会在军部驻地安徽省盱眙县（今属江苏省）黄花塘举行整风会议，陈毅先作自我批评，然后听取大家意见。由于饶漱石事先散布谣言，煽动策划，会议演变成对陈毅的批判斗争。在黄花塘村，饶漱石列举了陈毅的“十大罪状”，前三条分别是：“第一，在历史上，陈毅一贯反对毛主席；第二，陈毅一贯地对抗中央；第三，陈毅一贯地反对政治委员制度，不尊重政治委员。”陈毅凭着自己丰富的政治经验很快意识到，饶漱石此次发难的目的，是想赶走自己，所以才利用整风的机会，搞臭自己。陈毅对饶漱石列举的所谓“罪状”进行了逐条反驳，陈饶之间的争论顿时升级。迫于饶漱石的权势，与会人员被迫对陈毅展开了违心的批评。
会后，饶漱石以华中局、新四军军部的名义，向中央写了一份长达1500字的电报，罗列陈毅种种罪状，要求中央派人主持新四军军事工作。陈毅在会后也致电中央，陈述“黄花塘事件”的大概经过，要求赴延安学习，并着重检讨了自己随便说话等错误和缺点。陈毅的报告很快得到毛泽东的回复，11月8日毛泽东同意陈毅赴延安。
陈毅离开新四军军部，于1944年3月7日到达延安，见到毛泽东后，陈毅要求中央开一次会议，谈一谈新四军的问题。过了几个月，毛泽东找到陈毅说，黄花塘问题应该有一个结束，并说他已打了一个电报给华中局，电报大意是：陈饶争论不属于路线性质，且问题已经解决，不应再提。陈毅内战时期、抗战时期是有功劳的。如果有同志不了解，应进行解释。
然而，饶漱石接到电报后，未按毛泽东指示向干部作解释工作，第二天上午他以个人名义给毛泽东回电，声称他与陈毅的争论虽不属路线问题，也是带有原则性的争论。公然把毛泽东的指示精神顶了回去。在这种情况下，陈毅听从毛泽东的劝告，以政治家的广阔胸怀，没有再向中央提出意见。
抗日战争胜利后，饶漱石任新四军兼山东军区政治委员，中共中央华东局书记，华东军区政治委员。中华人民共和国成立后，曾先后任华东军政委员会主席，中共中央华东局第一书记，中共中央组织部部长。
1949年5月27日，上海市解放，中共中央华东局迁驻上海，与中共上海市委合署办公，饶漱石兼任上海市委书记。