1946年6月，国民党反动派破坏停战协定，对我解放区和根据地发动全面进攻。在华中地区，国民党集中17个军约40万兵力，从南向北沿津浦铁路推进。在西线，从西向东沿陇海铁路推进，在占领郑州、开封、许昌、商丘等战略要点后，矛头首先指向河南东部之水东抗日根据地。集结在以徐州为中心的国民党反动派军队，向我淮北路西平原大举进攻，致使我地方武装受到损失，边区根据地被侵占。
当时，我主力部队已东进，战斗在这一地区的是冀鲁豫军区第6分区（即水东分区）、华中军区第8分区的部队。在国民党数十万大军的包围和进攻之下，斗争形势极为严峻。这两个长期独立坚持在抗日敌后战场上的军分区，在刚刚粉碎日伪“清剿”与“扫荡”之后，又面临着几十万国民党正规军的“围剿”与进攻，再次被敌分割，孤悬于国民党进攻大军之后，不得不在3条铁路干线的夹角里与数十倍于己的国民党军周旋，环境险恶，情况复杂，任务异常艰巨。
第6、8两分区共同战斗在豫皖苏边区，原为新四军第4师在抗战初期创建的抗日民主根据地。为了有效歼灭敌人，巩固陇海路以南地区，恢复和发展豫皖苏边区，党中央派张国华率八路军一部南下，与吴芝圃率领的新四军第4师一部会师，加强这一地区的武装力量。
1946年9月，经党中央批准，决定以冀鲁豫军区第6分区和华中军区第8分区为基础，整合当地武装力量，重建豫皖苏军区，张国华任军区司令员，吴芝圃任军区政治委员。为加强党组织和政权建设，建立了中共豫皖苏边区党委，吴芝圃担任边区党委书记兼边区行政委员会主任。
10月，吴芝圃前往晋冀鲁豫野战军司令部，汇报豫皖苏军区及边区组建情况，听取野司首长关于组建豫皖苏军区的战略意图和重大意义的阐述，深感责任重大，他向党中央和野司首长提出建议：“首先应打通豫东与皖北，逐渐开拓新黄河地区，尔后打通与豫西地区的联系”。他的建议得到了野司首长赞同和中共中央的批准。
1946年12月24日，豫皖苏区党委和豫皖苏军区在河南省睢县平岗正式宣告成立，这在华中是件大事。这是党中央作出的一个重大战略决策，它标志着我党在中原地区一个新的斗争阶段的开始。
豫皖苏军区成立之后，当务之急是必须立即恢复和健全各级党政军领导机构，加强各级领导力量，整编部队，充实主力，加强地方武装建设。但这些牵动全局的大事，做起来并非易事。仅从部队来说，实行全区整编就是十分复杂的。两个分区从1941年以后，长期属于华北八路军与华中新四军两个不同的建制，干部、组织、作风、习惯都不相同，吴芝圃召开区党委会，强调高度的组织性和纪律性，要求无条件服从军区党委决定，豫皖苏军区这次历史性整编，仅用几天时间就完成了。
部队整编之后，吴芝圃和张国华贯彻党中央和冀鲁豫中央局指示，在睢、杞、太边界一带，积极发动群众，迅速恢复和扩大豫皖苏边区根据地，领导全区军民粉碎敌人进攻，牵制了敌人兵力。1947年1月，积极配合晋冀鲁豫野战军南集团出击豫皖边作战，在40天之内连克7城，歼灭国民党正规军1个多旅和3个县保安团，使豫皖苏地区形势大为改观。到1948年夏天，成立中共中央豫皖苏分局，宋任穷任书记，吴芝圃任副书记，根据地已扩大到陇海路以南、淮河以北、津浦路以西、平汉路以东的广大地带，武装力量由3个军分区发展到8个军分区。
豫皖苏根据地的巩固和发展，有力打击了敌人，支援了刘邓大军南下大别山，为把战争引向敌占区和实行战略进攻奠定了基础，为我军取得中原大战胜利，粉碎蒋介石“守江固淮”的美梦，为淮海战役和以后我解放大军渡江作战创造了极其有利的条件。
张国华、吴芝圃率领的这支部队后来编入第18军，解放西藏后仍留在西藏边防工作，保卫着祖国的南大门。