受陈独秀右倾投降主义的影响，吴芝圃于1928年至1937年做了10年的地下工作。1936年10月，中共河南临时省委了解到吴芝圃的情况后，决定恢复他的组织关系。
1938年5月徐州沦陷后，日寇大举进犯中原。面对日本帝国主义长驱直入，国民党军队奉行蒋介石的不抵抗主义不战而退。继东北、华北之后，豫东大地相继沦陷，地主恶霸纷纷组成反动武装，残害人民，无恶不作。在开封即将沦陷之时，中共河南省委由开封南迁许昌，省委决定派时任省委组织部部长吴芝圃出任豫东特委书记，深入敌后发动游击战争。
回到豫东后，吴芝圃遵照党中央指示，高举团结抗战旗帜，贯彻执行党的抗日民族统一战线方针政策，发动群众，武装起来，迅速组建了豫东特委，6月10日建立了由睢县、杞县、太康地下党员为骨干的豫东人民抗日游击队第3支队，并亲任支队司令员。睢县、杞县、太康、开封相继沦陷后，吴芝圃亲自领导这支队伍在他的家乡杞县一带开展抗日游击活动。
与此同时，共产党领导的南方8省游击队改编为新四军，在鄂、豫边区战斗了10年的豫南红军独立团周骏鸣、王国华部改编为新四军第4支队第8团，该团的一部分由彭雪枫率领从豫南确山一带东进，开展敌后游击战争。
10月，吴芝圃率领豫东抗日游击队第3支队经过敌人几道防线，抢渡新黄河，战胜重重困难，到达新黄河西的西华县杜岗，与彭雪枫率领的新四军东进部队胜利会师，这就是有名的“杜岗会师”。根据新四军军部的决定，两支力量会师后整编为新四军游击支队，由彭雪枫任司令员兼政委，吴芝圃任副司令员，张震任参谋长。
原第3支队人员大多来自豫东各县，在整编过程中，吴芝圃针对策3支队部分干部战士存在地方主义的倾向，做了大量深入细致的思想工作，反复讲明“共产党员必须无条件服从党的决定”和“党指挥枪”的道理，保证了整编工作顺利完成。整编后，在淮阳进行了第一次对日寇作战，取得了首战胜利。
新四军游击支队成立后，吴芝圃协助彭雪枫指挥这支武装力量转战在萧县、宿县、永城、夏邑、砀山一带，配合地方党开辟新区。逐步建立了豫皖苏边区党委和政权组织，后奉新四军军部命令，将游击支队改为第6支队，吴芝圃分工负责地方党和行政工作。
1939年初，豫苏皖边界抗日斗争形势不断发展，为了从萧县、宿县、水城、砀山到睢县、杞县、太康打通一条通路，把被隔离的两个地区连成一片，进一步配合在睢、杞、太等地坚持斗争的地方武装，横扫顽伪和汉奸土匪，巩固那一带远离主力部队的根据地，吴芝圃亲率一个营的兵力，从这年的1月到4月，回到睢、杞、太地区，依靠当地党组织和人民群众，经过艰苦斗争，不仅巩固和发展了根据地，而且粉碎了日寇配有坦克和几十辆汽车的强大兵力对瓦岗的进犯，在战斗中，还发展壮大了抗日武装，第6支队已由3个大队扩编到3个团，吴芝圃率领的这支队伍扩大为第3支队第3团。由于吴芝圃善于发动群众，豫东人民把自己的子弟和物资一批一批的送到前线，补充新四军的兵员和给养。彭雪枫曾风趣地称赞吴芝圃是革命的“老母鸡”。在一年多的时间内，根据地扩大到十几个县，武装力量壮大到1万2千多人。