1937年抗日战争爆发，国共合作后，陕甘宁边区的红军部队改编为国民革命军第八路军，总政治部主任是任弼时，副主任是邓小平，黄克诚任八路军总政治部组织部长。
红军开始改编为八路军时，指战员们不少人思想不通，发牢骚、讲怪话、闹情绪的到处都有。尤其是大家都不愿意穿国民党军队的服装，不愿意戴青天白日帽徽。黄克诚反复做工作，说服动员，大家才勉强穿上国民党制发的军装，但还是有不少人把帽徽揪下来，扔在地上。有许多人一边穿衣服，一边流泪，场面实在令人感动。
平型关战斗结束以后，八路军115师撤到五台山一带休整。总政治部主任任弼时派黄克诚到115师去检查部队政治工作情况。黄克诚即奉命离开总部，到115师师部和所属的两个团里跑了约半个月时间。其间，黄克诚与师部首长和团营连的指战员进行了座谈，共同探讨在新的形势之下，如何加强部队的思想政治工作。
在检查和座谈中，黄克诚感到部队虽然改编时间不久，但作风却起了很大变化。主要是由于部队中取消了政委制度，政治工作显著削弱，军阀习气开始滋长蔓延。在同师部首长商量当中，黄克诚建议恢复军队的政治委员制度，开展反军阀主义的斗争，以保持人民军队的光荣传统和优良作风。师部首长很赞成黄克诚的想法。于是，黄克诚即返回总政治部，向任弼时主任作了汇报。任弼时当即要黄克诚把到部队检查的情况及建议，起草一份报告，以便上报。
黄克诚将报告起草出来后，任弼时以朱德、彭德怀、任弼时三人的名义上报党中央。毛泽东很快就批准了在全军开展反军阀主义的斗争，下令恢复了原有的政治委员和政治机关制度。随后，中央军委任命聂荣臻为115师政委，关向应为120师政委，张浩为129师政委。张浩离开部队回党中央工作后，由邓小平接任129师政委。各部队所属的政训处均改为政治部，使部队政治工作得到加强。
部队恢复了政委制度后，黄克诚即奉命离开总政治部，调任115师344旅政委，此后，就同旅长徐海东率344旅转战在晋冀豫抗日战场。1940年，八路军各部队进行了整编，第344旅多次调动，黄克诚也曾在多个岗位上担任政委职务。7月，成立了八路军第5纵队，黄克诚任司令员兼政治委员。