就在台儿庄战役的同一年里，1938年3月，德国占领奥地利后，又突然掀起了一场反捷运动；及至10月6日，斯洛伐克脱离捷克联邦，宣布成立“自治政府”。其时，在亚洲，日本关东军于7月29日出动大批机动化部队，向苏军发动了大规模进攻，酿成“张鼓峰事件”。
1937年12月，日军占领太原、南京后，为连接南北战场，进而攻占武汉，迫使中国政府投降，就把进攻目标对准了军事重镇徐州。日军计划兵分两路进攻徐州，两路在台儿庄会师。而中国方面，负责徐州地区防务的是以李宗仁为司令长官的第五战区。
1938年3月，日军最精锐的第五师团向临沂进犯，原来一直在津浦铁路上正面作战的日军第十师团也向台儿庄推进，从而揭开了台儿庄战役的序幕。
14日，日军第十师团向台儿庄北面的滕县发起猛攻，中国守军孙震部第122、124两师奋起还击，双方展开激战。17日，日军数十架飞机和30多门大炮同时轰击滕县城墙，城墙多处被炸毁，日军在数十辆坦克的掩护下试图冲入城内。中国守军奋力抗击，截止到下午5时，122师师长、参谋长以及大多数士兵壮烈牺牲，日军冲入城内。18日晨，滕县失守。
日军第十师团占领滕县后，不考虑其第五师团在临沂的受阻，继续孤军向台儿庄进发。这时，中国第五战区司令长官李宗仁命令汤恩伯第20军团在津浦铁路上阻止日军南下，命令孙连仲第2集团军前往台儿庄。
23日，日军向台儿庄发动了进攻。战斗开始后，1000多名日军在重炮和坦克的掩护下开始向台儿庄进攻，31师的1个团机智地将日军诱至中国军队伏击圈，歼灭日军700多人。24日，2000多名日军在飞机、重炮和坦克掩护下，再次向台儿庄发动猛攻。日军用飞机、重炮轮番炸毁台儿庄防御工事后，冲入城内。中国守军与敌军展开激烈的巷战，第31师一部前后夹击，歼灭一部分日军。下午，由城墙东北角冲入城内的200多名日军也被第31师将士歼灭。
26日以后，日军第十师团主力逐渐到达台儿庄。27、28日，日军连续向台儿庄发动猛攻，中国守军虽然伤亡惨重，但仍然坚守阵地。28日晚，日军一部分冲入台儿庄内，双方展开了激烈的肉搏战。随着日军的持续增援，到4月3日，第31师已经失去了台儿庄大部分领土，只剩下南关一处。在这种情况下，中国守军仍然顽强抵抗，坚守阵地。至3日午夜，中国军队数百人的敢死队，轮番冲入敌阵，挥动大刀，杀得日军血肉横飞，四处逃散。经过殊死激战，几乎全军覆没的中国守军竟然从日军手中夺回了大部分地盘。
此时，孙桐萱率领第3集团军在津浦线上，经过奋力拼搏，切断了台儿庄日军的增援线。汤恩伯部在李宗仁的命令下，也南下协助孙连仲部夹击敌军，解除了台儿庄北面及东北面的威胁，并于4月6日黎明到达台儿庄外围。台儿庄的日军第10师团已陷入内外夹击的境地。
4月6日晚8时，中国军队内外同时发起反攻，附近的百姓也赶来助战，杀得日军溃不成军，至晚10时，日军在中国军队南北夹击之下，只有少数残部突围出去，日军第十师团主力被彻底歼灭，再无反攻之力。中国军队取得了台儿庄战役的巨大胜利。
台儿庄战役，中国军队经过英勇拼搏，歼灭日军2万余人。台儿庄大捷，是抗日战争以来国民党正面战场上取得的最大一次胜利，极大地鼓舞了中国军民的抗战热情，振奋了全民族抗战的士气。