河南开封古称汴梁，是中国四大古都之一，吴芝圃就出生在开封城东30多公里的杞县赵村，这个村庄离县城还有20多公里，幼年时的吴芝圃曾在县城私塾里读书。
1924年，吴芝圃到开封教会办的培文学校补习英文，立志考取国立北京大学。课外时间，他阅读哲学、伦理学书籍，对共产党的进步主张有了进一步了解，同年暑假考入开封河南省立第二中学高中班，参加了由马沛毅、张海峰创办的“社会科学研究会”，积极研究社会主义理论，从事革命宣传活动。
1925年，吴芝圃在开封加入中国共产主义青年团。上海“五卅”惨案发生后，全国范围内到处都掀起了声势浩大的反帝运动。河南的党、团组织也都陆续建立起来。吴芝圃和其他青年学生领袖，在中共豫陕区委书记王若飞和开封地委书记唐绍虞的直接领导下，发动全市青年学生、工人、市民和各界人士成立“惨案后援会”，支援上海工人、学生的爱国运动。6月5日，10余万人在开封南关演武厅集会，发表声援“五卅”宣言，决定全市罢工、罢课，进而抵制日货，并通电全国。这年秋天，吴芝圃从省立二中毕业，组织上派他回杞县参加农民运动，筹备组织农民协会。从此，他便结束了青年时代短暂的学生生活。这年年底，经中共杞县特支书记张海峰介绍，他被批准转为中国共产党党员。
1926年2月，吴芝圃由上海乘船南下广州，前往农民运动讲习所学习。农民运动讲习所位于广州市越秀区的中山路，这个红墙黄瓦、古色古香的古老建筑，是明清时期当地培养儒生和祭祀孔子的场所。1924年起，毛泽东与萧楚女、周恩来等在这里举办讲习所，讲授农民运动课程，为早期的中国革命培养了一批重要骨干。
吴芝圃来到广州，经中共早期党员、省港大罢工主要组织者陈延年介绍，进入讲习所学习。这次学习虽只有半年时间，但学的课程不少。毛泽东担任讲习所所长，重点讲授农民运动。讲课方式是上大课，听讲后学员提出问题，由教务处分类写成答案，在讲堂前公布。萧楚女是讲习所的教务长，这个工作主要由他负责，吴芝圃对他印象深刻。可惜的是，萧楚女在次年广州反革命政变中被捕，牺牲于南京石头城监狱。
毛泽东对全国农村情况比较了解，学员都爱听他讲的课。毛泽东经常亲自找学员谈话，也向吴芝圃询问了不少河南农村的情况。有一次，吴芝圃把一个字条弄掉了，毛泽东拣起来，认出是他的字迹，就到宿舍送给他，并且说：“你写的啥子哟！我们是秘密工作呀！可要小心。马马虎虎会惹大祸的！”以后吴芝圃多次提起这件事说：“你看，毛主席多么细心啊！”
夏末秋初，吴芝圃从广州农民运动讲习所毕业，他与河南来的28位同志分两路北返，部分同志随北伐军经韶关北上，他和另外一些同志从海路经上海返回开封。根据组织安排，吴芝圃回到杞县后，担任地委农运部长，杞县地委改为县委后，吴芝圃出任县委书记。
当时的形势是，河南在吴佩孚的残酷统治下，无穷无尽的苛捐杂税，使农民不能再忍受下去。在杞县，贪官污吏，劣绅土豪，更是无恶不作，农民恨之入骨，热切盼望北伐军来解救他们，而吴佩孚和奉系军阀勾结起来，抵抗北伐军北上。
这时北伐军的声势已经很大，吴芝圃领导杞县县委，利用在广州农民运动讲习所学到的知识，发动农民进行斗争，用各种方式抗捐抗税，发展农协会员，用红枪会等名义组织武装斗争。北伐军占领武汉以后，吴芝圃根据上级指示，在杞县作好响应北伐军的准备。
1927年，北伐军打到河南。吴芝圃组织召开睢县、通许、杞县等地农民代表会议，宣布建立“豫东农民自卫军”，配合北伐军攻克郑州和开封。吴芝圃率领自卫军，缴了统治阶级公安武装的枪支，抄了当地土豪劣绅的家产，杀了几个贪官污吏和豪绅，豁免了苛捐杂税，农民伸张了多年来积压的怨气。
此时，陈独秀右倾机会主义路线以豫东农民暴动是“过火行为”的罪名，给吴芝圃以停止党籍的处分。吴芝圃坚决抵制，毫不动摇。在他的领导下，豫东大地的农民运动，轰轰烈烈地开展起来了。