李先念回到延安后，刘少奇把李先念叫去谈话。刘少奇说，“中央已作了研究，决定派你回老家去。”
“回红安吗？”李先念问道。
“确切地说是鄂豫皖，”刘少奇又补充说：“是中原。”
李先念爽快地回答：“坚决服从中央决定。中央还有什么指示？”
刘少奇双目炯炯地看着李先念说：“我只给你讲三点：回去后，一是抓武装，二是抓武装，三还是抓武装。”
李先念大声说：“明白！”他双肩一抖，又踏上了新的征程。
1938年11月，李先念与刘少奇等一起告别革命圣地延安，踏上了南上征程。途经西安八路军办事处时，李先念与刘少奇分手，来到中原局和省委驻地河南省确山县竹沟镇。12月，中原局决定撤销河南省委，组建中共豫鄂边区党委，李先念任豫鄂边区党委军事部长。
1939年1月，李先念在竹沟镇北窑主持召开军事会议，根据刘少奇提出的“抓武装”的指示精神，认真分析豫鄂边区对敌斗争形势，提出了发展敌后武装，开展抗日武装斗争的军事工作方针，决定成立新四军豫鄂独立游击大队，迅速南下敌后，扩大抗日力量，开辟豫鄂边抗日根据地，李先念亲自担任独立游击大队司令员。1月17日，游击大队从竹沟镇出发，深入敌后到豫鄂边区开展武装斗争。
李先念率领的这支独立游击大队，下辖3个中队，由新四军第4支队部分人员和来自延安的60多名红军干部组成，共有160多人。部队踏上征途后，边行进，边训练，接连打了几个胜仗，在信南鸡公山歼灭伪军一部，在柳林铁路伏击日军装甲车，在信应公路诱歼日军通信兵，可谓出师大捷，既打出了新四军的威风，又相继与多地的党组织和抗日武装取得了联系。
1939年底，豫鄂边区党委将独立游击大队与豫南、鄂中、鄂东地区的武装力量统一整编为豫鄂挺进纵队，李先念任纵队司令员，他率领挺进纵队驰骋豫鄂大地，屡建奇功。党中央高度评价道：“挺进纵队的创造，是一个伟大的成绩，并证明在一切敌后地区党均可建立武装，而且可以存在和发展。”
1941年“皖南事变”后，李先念担任新四军第5师师长兼政委。9月，侵华日军为准备发动太平洋战争，集中10万兵力进攻长沙，后又攻郑州，并不断抽兵南调，致使武汉外围各据点守备减弱。李先念果断抓住战机，立即部署南下开辟汉川、汉阳、沔阳地区，同时派兵再进鄂皖边地区，扩大新的敌后根据地，彻底粉碎日伪“扫荡”，在地域上从东西两面构成对武汉之敌的战略包围。12月7日，李先念指挥发起了新四军第5师历史上著名的侏儒山战役，对盘踞汉阳侏儒山及其附近的伪军主力实施连续攻击，至次年2月，将侏儒山地区的伪军大部歼灭，并歼灭日军200余人，开辟了川汉沔根据地。
新四军第5师在李先念的领导下，先后挫败了日伪军的“铁壁合围”，开创了地处要冲、孤悬敌后的豫鄂边抗日根据地，建立了拥有5万余人的正规军和30余万人的民兵武装力量，从战略上配合了华北、华东解放区战场，同时也支持了国民党抗日军队在中原的正面战场。期间，李先念坚决执行中共中央进击中原的战略部署，出兵在大别山区建立了战略支点，新四军的政治影响也日益扩大。