作战厅长刘斐随蒋介石从武汉飞到徐州以后，每天都要和李宗仁交谈一两次。有时候，他们在作战室里比画着地图谈，有时候是随意地散步。
“自从南京失守以后，前线不少将士沮丧，我们必须选择有利时机打一个胜仗。”刘斐说。
李宗仁听了，微微点头，说：“是呀，胜仗可以鼓舞士气，振作精神。南京失守了，我们要在徐州附近打一个胜仗。抗日战争，需要鼓舞民心士气呀！”
李宗仁与刘斐对视一眼，说：“临沂张自忠的部队，打了胜仗。现在，矶谷廉介指挥的第十师团攻占滕县，骄狂万分，他们不会顾及左翼板垣征四郎指挥的第五师团被阻止在临沂，也不会等到南线日军北上呼应，必然要孤军冒进，直扑台儿庄，抢一个津浦路作战的头功。”
这也是作战厅长刘斐思考的主题。听了李宗仁这几句话，刘斐立刻说：“我们要发挥部队装备轻快的特点，发挥兵力对比上的绝对优势，大胆实行机动灵活的运动战，在日军没有对徐州形成合围前，将其各个击破。”
李宗仁忽然站住了，一句话也不说。李宗仁心里明白，在抗日这一事关中华民族生死存亡的重大问题上，国民政府统帅部的意见不一致，有人主张持久防守，消耗日军，有人主张打运动战，各个击破日军。徐州会战，他必须选择一种能有效歼灭日军，能打胜仗的战法。
回到指挥部，李宗仁自言自语：这些日军，急于打通津浦路。他们急，我们就有战机！
李宗仁详细分析了日军的企图，进一步向部队明确了作战方针。这个作战方针是：
固守台儿庄及运河一线，诱敌来犯，断敌后路，相机实施反包围，聚歼日军。
李宗仁在组织指挥第五战区进行徐州会战过程中，曾多次要求蒋介石增加兵力。
蒋介石看到，加强第五战区的防御具有战略意义，因此，他把正在河南进行补充训练的汤恩伯指挥的第二十军团和孙连仲指挥的第二集团军调往徐州战场，把这两支部队用来守卫徐州的门户台儿庄。为此，第五战区对作战部署进行了调整。李宗仁作出的新的作战部署是：
孙连仲指挥的第二集团军3个师，坚守台儿庄的正面阵地。其中，第二十七师、第三十师在运河一线以及台儿庄以西布防；第三十一师用主力坚守台儿庄，以一部兵力配置于台儿庄东侧和西侧，支援台儿庄的核心阵地作战。
汤恩伯指挥的第二十军团，部署于向城、洪山一线，阻击北面的日军。其中，用两个军向峄县、枣庄日军的侧背进行攻击，配合孙连仲的部队围歼日军；用一部分兵力担任台儿庄到韩庄之间运河南岸的防务。
孙连仲接到命令以后，立即组织先遣人员前往徐州以北地区，选定指挥所；命令第三十一师师长池峰城率领部队，迅速进驻台儿庄及其附近地区，掩护其他部队进入预定地域。
台儿庄的东面和西面是三角形的山地，有利于组织防御。有利的地形条件是良好战场的重要标志。孙连仲根据台儿庄的地形特点和李宗仁明确的作战任务，作出了以下部署：
集团军总司令部设在距台儿庄城寨5千米处。
第三十一师：第一八四团防守台儿庄城寨，这是防守台儿庄的核心阵地。台儿庄以西3.5千米的范口村，台儿庄以东1.5千米的官庄，是支撑台儿庄的两个“角”，各派部分部队防守，与台儿庄城寨互为犄角之势，协同作战。另一部分部队沿大运河南岸设置防御阵地。
第三十师、第四十四旅：在台儿庄以南地区和贾汪东北地域集结。
1938年3月22日，各部队按照以上部署进入阵地。
孤军冒进的日军第十师团第三十三旅团濑谷启得知中国军队的防御行动以后，开始感到了自己的不利处境。他看到，他们的前面，孙连仲指挥的部队两万多人已经开始构筑防御工事；他们的后面，汤恩伯指挥的部队6万多人已经占据有利地形。他们的左面，第五师团的友邻部队进攻临沂受挫，已经同他们失去了联络；尤其是他指挥的这支部队只有1.5万人，在兵力数量上处于劣势。但是，骄横的日军凭借精良的武器装备，自认为战斗力处于上风，依然急于向台儿庄挺进。
3月23日，濑谷启明确了进攻台儿庄的作战行动，主要是：
步兵第六十三联队第二大队配属野炮兵一个大队，组成台儿庄派遣队，向台儿庄进攻。这支派遣队大约只有两个营的兵力。
步兵第十联队第二大队为主体，组成沂州支队，向临沂方向前进，策应临沂方向的坂本支队作战。这支部队大约只有一个营的兵力。
步兵第六十三联队第一大队在韩庄等地担任守备，主要任务是担任右翼的警戒，保障台儿庄派遣队的右翼安全。旅团司令部及其余部队驻扎在峄县附近。这部分日军大约有3个营的兵力。
3月24日，就是蒋介石到徐州视察的时候，日军分两路开始对台儿庄的攻击行动。
沂州支队东进至郭里集，就受到汤恩伯指挥部队的阻击。一个营的步兵如何能突破数万部队设置的防线？
数千名日军在空军配合下，向台儿庄阵地发起攻击。攻击开始后，日军不断增加兵力，一会儿用重炮轰击，一会儿用坦克冲击，大有一举突破台儿庄阵地的嚣张气焰。
孙连仲总司令深知台儿庄防御战是一场恶战。战斗前夕，孙连仲亲赴前线，指挥部队抗击日军。他对官兵们说：“面对强大的敌人，我们只能依靠地形挡住它，再利用夜里的小突击拖住它。没有命令，决不能撤退！”
守卫台儿庄的第三十一师官兵与日军展开激战，不时地以灵活的战术同日军进行周旋。突然，日军的炮火把台儿庄城寨东北角的城墙炸塌了，日军看到城墙中的这个突破口，纷纷往城里冲。
池峰城师长看到情况万分危急，厉声命令：“敢死队，跟我上！”
在师长的带领下，第一八六团官兵蜂拥而上，同日军拼杀起来。台儿庄西面的国民党守军第三十师的官兵乘势从翼侧打击日军。突入台儿庄城东北角的日军两面受到威胁，立足未稳，就被中国守军歼灭了。
李宗仁送走蒋介石，看到台儿庄战役第一天的战斗报告，当即传令：“奖赏敢死队银元10万。”敢死队员们听到李宗仁的嘉奖令，一致表示：“只要抗日，不要银元！”
李宗仁闻讯，心甚为感动。战前，孙连仲、汤恩伯各指挥一支大兵团，谁打阵地战？谁打运动战？谁能守住台儿庄？谁去侧击日军？李宗仁颇费了一番心思。在国民党军队中，西北军以善于防守著称。李宗仁把坚守台儿庄正面核心阵地这个最艰巨的任务交给孙连仲指挥的第二集团军，是用人之长，用军之长。
第一天战斗，李宗仁更加坚信战前用对了人，用对了兵。徐州会战，孙连仲指挥的部队在台儿庄战役中起到了重要作用。
3月27日，日军增加兵力以后，继续向台儿庄进攻。这时候，日军的进攻队伍中已经有独立机枪第十大队、轻装甲车第十中队等火力和突击力比较强的兵种。战斗打响后，日军主力都被吸引到台儿庄附近。
激战中，日军部分主力突入台儿庄的北门。第三十一师官兵奋力反击，阵地上你来我往，中国守军与日军展开了拉锯战。看到隆隆开过来的日军坦克，中国守军把10多枚手榴弹捆成一束，把日军的坦克炸毁。肉搏战时，中国军队官兵手中的大刀发挥了强大的威力，日军被砍得血肉横飞。
李宗仁见守城部队士气高昂，日军已经就范，看到歼灭日军的时机基本成熟，命令第二十军团用部分兵力监视当面的日军，主力迅速南下，围歼台儿庄的日军。
3月28日，日军的攻击越来越猛烈，坚守台儿庄阵地也越来越艰难。第三十一师官兵遵照李宗仁的命令，不畏牺牲，英勇抗击，始终坚守阵地。
台儿庄战斗到了关键时刻。这天，李宗仁严命第二十军团用主力攻击台儿庄以北的日军的侧方，配合第二集团军的官兵打击日军。
3月29日，天刚蒙蒙亮，孙连仲总司令就把师长、旅长和炮兵团长召集到一起，进一步明确了坚守台儿庄的决心。
孙连仲对大家说：“根据种种迹象分析，我们当面的日军正在等待援助。我们要以钳形攻势把这些日军歼灭。第三十一师仍然要坚守阵地，要牢固树立独自为战的思想。同时，我们还要组织部队出击，打阵地战，内外配合，就会主动得多。”
日军矶谷廉介为了迅速攻下台儿庄，命令濑谷启即刻把旅团主力投入战斗。
为了钳制日军南下，减轻台儿庄战场的压力，3月30日，第五战区命令第二十集团军以一部兵力对峄县的日军进行佯攻，另以一部分兵力迅速向泥沟前进，协助第二集团军的部队打击围攻台儿庄之日军。
这支中国军队千方百计破坏铁路、公路交通，切断峄县与台儿庄这两部分日军之间的联系。这天，蒋介石命令第五战区的部队死守台儿庄。
李宗仁司令长官下达了第二集团军死守台儿庄阵地命令，同时，李宗仁再次严令汤恩伯率领部队迅速南下，协助第二集团军歼灭进攻台儿庄之日军。
3月30日，日军荣福团在台儿庄遭到中国军队的南北围攻，处境危险。濑谷急忙命令日军前往增援，自己则赶到台儿庄前线督战。日军竭力全力攻击台儿庄阵地。
3月31日，中国军队把进入台儿庄的日军全部包围起来了。
台儿庄的日军处于危急状态。为了策应台儿庄的战斗，日军第二集团军命令攻击临沂的日军支队转向台儿庄，支援台儿庄战场。日军于31日到达向城、爱曲地区，从侧面攻击第二十军团，企图解第十师团之围。
汤恩伯指挥的第二十军团发现这路日军后，命令第五十二军和刚刚到达的第五十七军一起，围攻日军支队。经过数天战斗，阻击了日军支队，使日军增援台儿庄的计划没有实现。
4月1日，日军为了增加台儿庄方向的兵力，不得不把第八旅团第三十九联队的一个大队派遣到台儿庄。连日激战，台儿庄难以攻克，日军第十师团已经山穷水尽，矶谷廉介能够掌握的预备队，也只有5个营的兵力了。
4月3日，日军再次向台儿庄阵地上的中国守军发起攻击，不断投掷催泪瓦斯弹。当日军攻占台儿庄的东南门后，突入城寨百余米，台儿庄大部分市区的街道被日军占领。第三十一师官兵在激战中死伤三分之二，仍然据守南关的几处阵地，同日军拼死抵抗。
李宗仁分析了战场全局情况，拿起电话，冷静地命令孙连仲：“第二集团军各部必须坚守至次日拂晓，拖住日军，等待汤恩伯军团前来增援。”
孙连仲毫无惧色，坚定地回答：“长官有此决心，我第二集团军牺牲殆尽不足惜，连仲亦以一死报国家。”
4月4日深夜，汤恩伯指挥的部队到达台儿庄的北面。这时候，台儿庄已经有三分之二被日军占领。
李宗仁原来认为，汤恩伯的部队4日中午即可到达，因此，命令孙连仲于4日晚上向日军阵地反击。这天半夜，孙连仲把阵地上所有能用的兵都集中起来了，伤员们来了，炊事员、担架兵都站到了敢死队的行列里。这支数百人的敢死队正要出发，电话铃响了。
池峰城师长在电话中向孙连仲总司令请示：“是否可以撤退到运河南岸去？”
孙连仲毫不犹豫地命令：“部队决不能撤退。士兵打完了，你自己填上去。你填过去了，我就来填进去。有谁敢过河者，杀无赦！”
池峰城师长以必死的决心组织部队抵抗，把增援的日军击退。
这夜，第三十一师的敢死队在黑暗中冲入日军阵地。日军连日作战，没有料到中国军队会在半夜里突然杀出来，仓皇应战，溃不成军。经过敢死队的一场夜战，台儿庄阵地被孙连仲夺回了四分之三。这是中国守军的一个奇迹。
这场夜间战斗，汤恩伯指挥的部队没有参加。4月5日，蒋介石打电报给汤恩伯，严厉指出：
台儿庄附近会战，我以十师之众对师半之敌，历时旬余未获战果。该军团居敌侧背，态势尤为有利，攻击竟不奏效，其将何以自解？急应严督所部于六七两日奋勉图功歼灭此敌，毋负厚望。
在蒋介石的严厉命令下，汤恩伯指挥部队向日军的后方攻击。
4月6日拂晓，台儿庄阵地上仍然是硝烟弥漫，几声枪响打破了黎明的寂静。濑谷启看到自己的部队损失惨重，已经难以继续战斗了，几经思考，命令部队停止攻击，收缩阵地，准备于傍晚撤出台儿庄。
谁知，矶谷廉介接到以上情况报告以后，坚决不同意日军撤出阵地，命令他们立即转入攻势行动，去消灭台儿庄的中国守军。
濑谷启看到师团长发来的命令，又看了看阵地上到处都是死伤的日本兵，把这份命令紧紧地捏在手中。日本军队军纪严明，但这天晚上，有的日军却不顾军纪，逃离台儿庄。
晚上，中国军队对日军发动全线攻击。日军队形混乱，东奔西逃。第二集团军和第二十军团的官兵内外夹击，越战越勇。
为了彻底歼灭溃逃的日军，第八十九师第五二九团团长罗芳珪同副团长一起来到前沿阵地，仔细观察敌情。他们这支部队已经同日军激战多日了，现在要争取最后的胜利。突然，一发炮弹落下来，在罗芳珪团长的身旁爆炸了。罗芳珪团长身一歪，倒下了，弹片击中了他的头部和胸部。
警卫人员见状，大吃一惊，急忙过来抢救团长。
罗芳珪躺在一名战士身上，微微睁开眼，当他看到周围的人都为抢救他而忙碌时，想挣扎着坐起来。他用微弱的声音说：“余死无足惜，君等但须继续前进……”
这位年轻的团长终因流血过多，在大会战胜利的前夕，光荣牺牲了。
日军被击溃了。将士们聚集在罗团长身旁，把一束束鲜艳的桃花放在他的遗体旁。山坡上，那些盛开的桃花在微风中摇摆，仿佛在向英雄志哀，向英雄告别。
至4月7日凌晨，被围困的日军濑谷支队除少数突围到达峄县固守待援外，其余全部被歼灭。台儿庄战役，以中国军队的全胜而落下了帷幕。
一场血战结束了。第五战区司令长官李宗仁在作战厅长刘斐的陪同下，来到台儿庄阵地，进行巡视。看到战场上中国军队官兵壮烈牺牲的动人情景，刘斐对李宗仁说：这场战斗打得这么苦，国民政府应该大力宣传，以振士气。
李宗仁频频点头，他对身边的人说，把台儿庄战役的详细情况电告各方，多做宣传，扩大影响，鼓舞抗日士气。
台儿庄战役，中国军队给予来犯日军歼灭性的打击，摧毁坦克30多辆，缴获了大批军用物资。据日军华北方面军参谋第三课统计，两个师团一共死伤1.2万多人。
这是中国军队在抗日战争中取得的最大的一次胜利，这个胜利，鼓舞了中国军队的士气，沉重打击了日军的嚣张气焰。日军《步兵第十团战斗详报》记载，台儿庄中国守军“决死奋战之状历历在目”，“士兵依靠堑壕顽强抵抗直到最后”；堑壕中尸山血河，“睹其壮烈者亦为之感叹”。
台儿庄大捷，鼓舞了中华民族的抗战热情，掀起了抗击日军的高潮。为了庆祝这一胜利，武汉举行了10万人的大游行，游行队伍前面，用卡车载着李宗仁和白崇禧的巨幅画像。
军事委员会参谋长何应钦在国民党五届五中全会报告军事时，称：“敌板垣、矶谷两师团，直迫台儿庄，经孙连仲部坚强抵抗，以杨军团由东北向西南压迫，并以孙桐萱、曹福林、李明扬各部，渡过微山湖，断敌交通补给，迄4月3日，我包围之势已成，对台儿庄之敌，乃实行总攻，敌伤亡约达万人，几全部歼灭，我俘获无算，为抗战以来空前之大胜利。”
台儿庄战役的胜利，是抗日将士用鲜血和生命换来的。台儿庄大捷，中国军队付出了沉重的代价。战斗结束后，全国的许多报刊纷纷报导抗日将士打击日本侵略者的英勇事迹，其中，长沙《大公报》在1938年4月15日发表了题为《扼守南口，威震中外；台庄会战，为国捐躯》的文章，悼念罗芳珪团长。
中国人民不会忘记抗日英雄。1988年5月18日，中华人民共和国民政部追认罗芳珪为革命烈士。