由于第5次反“围剿”的失败，党中央和中央军委作出了放弃中央苏区、红军主力突围、向湘西转移的决策。1934年10月，李井泉随中央红军参加长征，开始时任中央直属纵队干部团政治教员，后担任没收委员会主任，负责为直属纵队提供粮食等后勤保障。他积极开展工作，努力筹集各种物资，保证了中央纵队在长征途中的后勤供应。
1935年1月，中共中央政治局召开遵义会议，会后，李井泉调任中央直属纵队政治处主任，协助司令员刘伯承抓好直属纵队的思想政治工作。
1935年6月，红一方面军和红四方面军在懋功会师，李井泉调任红四方面军第9军政治协助员。8月3日，中央军委制订了《夏洮战役计划》，此后，以红一方面军一部和红四方面军3个军组成左路军，由朱德、张国焘、刘伯承率领，向阿坝地区开进，李井泉随左路军行动。由于张国焘反对党中央北上的战略方针，坚持南下公开分裂党、分裂红军，红四方面军被迫南下川康边地区，朱德、刘伯承等坚决抵制张国焘的瞎指挥和分裂党、分裂红军的错误行为，刘伯承甚至警告张国焘：“北上有利，南下是要碰钉子的！”张国焘不听劝告，一意孤行，又转而拉拢李井泉，李井泉不卑不亢地说：“总司令、总参谋长都说话了，他们肯定比我站得高、看得远，我赞同他们的意见！”张国焘自知无趣，但却迁怒于李井泉，无奈之下，就把他调到红四方面军红军大学当政治教员。
张国焘一意孤行，率领部队过草地南下，企图在四川建立根据地。结果，南下行动彻底失败，严重消耗了红军有生力量，成了革命的罪人。面对张国焘的拉拢、排斥，在维护党的团结和保持红军统一指挥的紧要关头，李井泉着眼大局，坚决支持党中央、毛泽东的正确判断和指挥，对张国焘错误主张进行了坚决抵制和批评，坚定了正确的政治立场。
1936年7月，红二、四方面军会师，广大指战员在同张国焘分裂党和红军的错误不断斗争的同时，强烈要求北上与党中央会合，张国焘在分裂活动不得人心的情况下，被迫取消其非法另立的“中央”，并同意北上，李井泉又随红四方面军过草地北上，同年秋天被调到红二方面军第4师担任政委。对于李井泉坎坷的长征路，党中央评价极高：“在长征中，李井泉同志先后在一、四、二方面军工作，在极其恶劣的环境中，他三过草地，历尽艰辛，始终维护党的团结和统一，维护以毛泽东同志为代表的新的中央的正确领导。”