李井泉出生于江西省临川县一个普通农民家庭。从青年时代开始，他就喜欢读书学习，阅读进步刊物，接受进步思想的熏陶，积极探求革命真理。刚满15岁时，李井泉进入江西省立第三师范学校读书，他为校园内掀起的新文化运动热潮所振奋，积极参加学生运动，与舒同（新中国成立后曾任中共山东省委第一书记）等进步学生成立了“读书会”，在学习功课之余交流心得，共同研究和探讨马克思主义理论和中国革命的实践问题，他还与读书会成员一起秘密张贴标语、散发传单，动员农民支援北伐军。1927年春，李井泉由学校老师章涤昌介绍，加入共产主义青年团，并出席了在南昌召开的农民协会代表大会。
1927年8月，中国革命处于生死存亡的紧急关头，李井泉置自己的安危于不顾，与多名临川热血青年一道，离别故土，参加了周恩来、叶挺、朱德、贺龙领导的南昌起义部队。随后，朱德派他到第四军第25师任政治宣传员，参加了会昌战斗。同年9月，部队进入广东，在大埔三河坝与敌军进行了一次激烈战斗，因敌强我弱，部队被打散。李井泉在三河坝战斗后，留在大埔，与当地的地下党接上头，在极其艰苦困难的条件下，积极组织发动群众，坚持开展工农武装斗争，先在丰顺县黄金铺区任共青团区委书记，后担任共青团东江特委秘书长。
在此期间，毛泽东等开辟了井冈山革命根据地，创立红四军转战赣南、闽西大地。1929年红四军主力曾进军东江，帮助东江特委发展武装，在东江一带形成了很大的革命影响，李井泉对红四军十分向往。
1930年春夏之交，李井泉接受一项特殊任务，东江特委派他去中央苏区红四军前委送一封密信，这个时候，毛泽东等率领红四军正在从赣南寻乌向闽西长汀转移途中，李井泉不顾终日奔波的疲劳，跋山涉水日夜兼程，最后终于追上了部队，找到了红四军前委书记毛泽东。
毛泽东接过密件，打量了一番眼前这位年轻人，只见李井泉中等身材，略为清瘦，五官匀称，两眼炯炯有神，给人感觉是精明强干。
听完了李井泉简单的自我介绍，毛泽东对这个年轻人十分欣赏，他语重心长地说：“你很年轻，精明强干，又有文化，很适宜做政治工作，那就留下吧！希望你努力学习马列著作，深入实际，深入基层与士兵同甘共苦，把自己的知识和才能贡献给工农大众。”
由于受到毛泽东的赞扬，李井泉随即被分配到红一方面军总司令部政委办公室任秘书长，从那时起，他就一直在毛泽东身边工作。秘书工作非常琐碎，也非常辛苦，但李井泉不厌其烦，不怕吃苦，他在毛泽东身边收收发发、抄抄写写，后勤总务，样样都干。很自然地，在那样的环境中耳濡目染，受到毛泽东等首长的影响和熏陶，思想进步很快，政治上日趋成熟。1931年，李井泉便升任由赣南地方武装改编而来的红三十五军政治委员，不久又担任红一方面军司令部直属队党支部书记。