四月二日凌晨一时，台儿庄内外万籁寂静，在城外围的东北角和西北角，同时出现了中国官兵的身影。孙连仲的命令第二十七师，挑选敢死队员二百五十人为前锋，一个营在后面跟进，从台儿庄的东北角向庄内实施偷袭。孙连仲决定在所不惜，言如果能冲进庄去赏大洋五千元；如能配合城里的第三十一师把庄内的日军肃清，赏大洋两万元。数百名中国官兵悄然无声地向台儿庄的东北角接近，然后突然一片呐喊向寨墙上猛爬。没有准备的日军猝不及防，反应过来时中国守军的敢死队员已经冲到跟前。战至凌晨四时，占据着台儿庄东北角寨墙的日军被全部歼灭。敢死队员们接着向东门和西北角方向发展，惊慌的日军在黑暗中纷纷躲进民房和碉楼里，中国官兵逐屋搜索后放火，将日军压缩至城的一角。
一个晚上的反击成效明显。天亮后，台儿庄的东门被中国军队打开，随即南门也被收复，第三十一师和第二十七师取得了联络。——这是数天来，这两支分别防御庄内外的部队第一次取得有效联络。但是，中国守军尚未巩固阵地，南下增援的日军第十联队到达战场，向庄外的第二十七师发起攻击，企图突破中国守军防线向台儿庄靠拢。
中国陆军第二集团军第四十二军第二十七师，三月二十四日从徐州以北的柳泉、贾汪抵达台儿庄战场后，一直处于外围防御的血战中。此前，没有多少人熟悉这支杂牌部队，仅知道这是原西北军中的一群粗鲁汉子。可是，自台儿庄作战开始以来，这支部队显示前所未有的英勇无畏。他们不分白天黑夜，在与台儿庄咫尺之遥的外围阵地，没完没了地与日军进行拉锯作战，坚守、失守、反击、再坚守，每一次战斗都出现巨大的伤亡，即使暂时没有阵亡的官兵也是军装破烂，浑身血污，他们被日军称之为“叫花子部队”。但是，这些可以数日不睡觉，以至于连走路都东倒西歪的官兵，只要作战命令一到，就能立刻又虎狼般地向日军冲上去。他们的顽强作战，极大地牵制和消耗了直接攻击台儿庄的日军兵力。
二日，濑谷启亲自率第十联队主力到达台儿庄以东地区，但是横在濑谷启前面的又是中国守军第二十七师。
黄樵松师长告诉他的官兵，决不能让增援日军冲进台儿庄。
上午十时，日军三百余名步兵在十辆坦克的引导下向台儿庄开进，在彭村、上庄、陶沟桥等处与第二十七师第八十旅一五九团相撞。濑谷启立即派出两翼部队向一五九团阵地左右迂回。而在相撞的正面，双方激战至中午，日军“集中起野山炮数十门，向我阵地线猛烈轰射，我潘坠、燕子井、彭村、石佛寺一带，守兵与阵地共为灰烬，孟庄、裴庄、陶沟桥、五圣堂、五窑路、辛庄等处，均与敌发生血战”。到了下午，第二十七师各阵地都陷入日军的包围，但官兵只要不死就是不后退一步，以至于战场上“杀声震天地，烟尘蔽日，血雨横飞，战况之惨烈，不克名状，双方酣斗竟日未休”。
……
三日，被围困在台儿庄内的日军，获悉第十联队和坂本支队已到台儿庄以东地区后，开始了孤注一掷的反击。他们用十余门平射炮向第三十一师守军阵地连续炮击，日军战机同时向台儿庄内外狂轰滥炸，日军步兵在随后发起的冲锋中使用了催泪性瓦斯毒气。此时的第三十一师，没有伤亡的官兵仅剩一千三百余人，庄内的三分之二都已被日军占领，守军仅在南关一隅苦苦支撑。池峰城师长认为，继续苦撑下去，只有全军覆没，于是请示孙连仲，要求残部向运河南岸转移阵地。孙连仲难以抉择，只有向李宗仁请示，话语说出来令人内心酸楚：“报告长官，第二集团军已伤亡十分之七，敌人火力太猛，攻势过猛，但是我们也把敌人消耗得差不多了。可否请长官答应，暂时撤退到运河南岸，好让第二集团军留点种子，也是长官的大恩大德！”李宗仁预计汤恩伯明天即可到达台儿庄，如果此时让第二集团军放弃坚守，那么之前中国军队在台儿庄内外的所有苦战都将功亏一篑。鉴于此，他给孙连仲的答复是：“务必守至明天拂晓，如违抗命令，当军法从事。”——李宗仁后来回忆说：“我向他下这样严厉的命令，内心很觉难过。”他们过去没有过交往，仅在第二集团军调至第五战区后，在徐州的战区指挥部里有过一面之交。孙连仲最后这样回答了李宗仁：“绝对服从命令，整个集团军打完为止。”
此时的第二集团军，连预备队都用光了。
当池峰城师长再次打来电话，询问是否可以转移阵地时，孙连仲的回答是：“士兵打完了，你就自己填上去；你填过了，我就来填进去。有谁敢退过运河，杀无赦！”
孙连仲，一八九三年生于河北雄县。虽家境殷实，不必当兵，但他立志从军，一九一二年入北洋军第二镇八标二营八连任学兵。北洋陆军各镇在清帝退位后改为师，孙连仲被选入冯玉祥部第十六混成旅炮兵营任班长。他身材魁梧，胆识过人，曾在护国战争中一人扛着二百多斤的山炮带着他的部队包抄对手后路。因作战沉着勇敢，由营长、团长、师长、军长一路升迁，至北伐战争时已是方面军总指挥。卢沟桥事变爆发后，作为第二十六路军总指挥，孙连仲要求他的官兵“报效国家、挽救危局，以尽军人天职”。他率部奔走于北平南部、河北涿县、山西娘子关战场，及至奉命坚守台儿庄，孙连仲面对的是他行伍以来前所未有的严酷考验。
孙连仲亲自进入台儿庄内，在守军苦撑着的东南一隅督战。他把右翼作战不利的一名旅长撤了，当众枪毙了左翼一名贪生怕死的营长，然后开始组织敢死队。当跟随着孙连仲的军需官，把身上仅剩的大洋分给敢死队员的时候，敢死队员们把大洋扔在地上说：“我们以死相拼，为的是报效国家，不是为了几块大洋。”——孙连仲见状不禁放声大哭。
先锋敢死队数百人，分组向敌逆袭，冲进敌阵。人自为战，奋勇异常，部分官兵手持大刀，向敌斫杀，敌军血战经旬，已筋疲力尽，初不意至此最后五分钟，我军尚能乘夜出击。敌军仓皇应战，乱作一团，血战数日为敌占领的台儿庄市街，竟为我一举夺回四分之三，毙敌无算，敌军退守北门，与我军激战通宵。
与此同时，在庄外防御的第二十七师官兵也面临着最后时刻。
三日一大早，日军第十联队向第二十七师阵地发射了两千余发炮弹，阵地工事连同附近的村落皆被夷为平地。然后，在四十多辆坦克的掩护下，日军步兵不顾一切地向台儿庄方向突击。第二十七师连日血战，伤亡惨重，能够作战的官兵已不足千人，致使日军相继冲入园上、孟庄、邵庄等村庄，第二十七师仅剩的官兵不得不用身躯与凶悍的日军展开决死拼杀。在彭村防御的，是王景山营长指挥的营部和五连，当日军冲进村庄时，王营长赤裸着上身对官兵们喊：“今天是本营长和全营殉职报国的最后一日，只有杀敌，不计生命！”官兵们跟着王营长死拼不退，及至全部战死。王营长一人砍杀日军十二人，最后身中数弹倒地。——“敌恨之入骨，死后犹被敌乱刀肢解。”
三日晚，台儿庄内外中国守军无不期待着汤恩伯部立即出现。