抗日战争爆发后，宋任穷任八路军129师政训处副主任。根据党中央建立民族抗日统一战线的战略决策，129师在师长刘伯承、副师长徐向前率领下奉命进入山西抗战。9月30日，部队经过庄严宣誓之后，从富平县庄里镇出发开赴抗日前线，10月初进入太行山区。宋任穷随师政治机关一起出发，部队所到之处，受到沿途人民群众的热烈欢迎。进入侯马镇时，镇上的居民走出家门拥到街上，欢迎慰劳部队。还有些地方摆设了桌子，放上茶水、食品等慰劳八路军，宋任穷真切感受到了广大群众对人民子弟兵的厚爱。
刘伯承率129师进入山西后，接连取得一系列胜利，尤其是平型关和阳明堡这两仗的胜利，沉重打击了山西境内日军的嚣张气焰，大长了中国抗日军民的志气，有力支援了在忻口方向作战的国民党军和阎锡山的部队。
太原失守后，蒋介石害怕日军继续向河南推进，遂派国民党第20军团司令兼第13军军长汤恩伯率部到榆次地区部署兵力，构筑阵地，企图阻止日军继续南下，策应平汉线作战。根据中央军委和八路军总部的指示，宋任穷随129师主力部队分别在同蒲铁路东侧、正太铁路南侧和平汉铁路石家庄至磁县段以西地区活动。当时，129师在晋东南只有3个团，根据开展游击战争的需要，宋任穷向刘伯承师长建议，政治部的领导同志分别带队，下去搞扩兵，广泛发动群众，扩大八路军在当地的影响，同时也为部队筹粮、筹款。
刘伯承听了宋任穷的建议非常高兴，在与副师长徐向前商量之后，决定派宋任军前往晋东南一带扩兵，同时代表他们到晋城去拜访一下汤恩伯。刘伯承同时向宋任穷交待，他同汤恩伯以前打过很多仗，可以说是“老对头”了，彼此都很熟悉，眼下是抗日统一战线，与汤恩伯的斗争要有理有利有节。
领受任务后，宋任穷穿着普通的八路军服装，打着绑腿，带了个警卫员就出发了。那时没有军衔，除了带有“八路”二字的臂章外，也没有其他什么标志。汤恩伯当时是国民党的军团司令。为了见面时通报方便，拜访前宋任穷临时写了张名片，上面写着：“宋任穷，国民革命军第129师政训处副主任，湖南浏阳。”
见到汤恩伯时，宋任穷说：“刘伯承师长、徐向前副师长委托我来看望汤司令。”
汤恩伯说：“外面有太阳，就在外面坐吧。”
他们俩坐下后，天上的地下的闲谈了一通。谈得很多，也很随便。闲谈中汤恩伯问了宋任穷一个问题。他说：“有一点我不了解，你们八路军为什么打仗总打不散，散了也能够收拢来。为什么我们的部队就不行呢？”
宋任穷说：“道理很简单，因为我们的军队每个连都有共产党支部。汤司令要学的话，我们派些人到你的部队，也在每个连建一个共产党支部，保险你打散了又可以收拢，你看怎么样？”
汤恩伯听了后，故作镇定地哈哈大笑。汤恩伯周围的一些随从看到，宋任穷这个20多岁的八路军军官同他们的司令长官讲话如此轻松，而又非常得体，感到十分惊讶。
红军、八路军是共产党领导下的人民军队，不管物质生活如何困难，战斗如何频繁，都能上下一心艰苦奋战而不溃散，“支部建在连上”是一个重要原因，这一点汤恩伯是理解不了的。宋任穷借机将了汤恩伯一军，他这个号称军团司令顿时哑口无言了。
这次和汤恩伯的会谈并没有起什么作用。虽然汤说了些“携手合作”、“同舟共济”一类的话，只是表面上的一些客套话。宋任穷前往会谈时，汤恩伯的司令部设在晋城，面对日军的大举进逼，他不久就率部跑到河南去了。抗战期间，河南民众有一句口头语：“河南四荒，水、旱、蝗、汤（汤恩伯）”。可见汤恩伯部队的纪律是何等之坏，这样的部队连遭败绩也就不足为奇了。而八路军129师进入太行山区抗战以来，深入发动群众，连续取得阳明堡、七亘村、黄崖底、神头岭、响堂铺、长乐村等战斗的重大胜利，在晋东南山岳地带站稳了脚跟，为八路军逐步向平原地区发展游击战争、建立了良好基地，提供了有利条件。