1937年12月，日军攻占南京和济南后，急欲打通津浦线，夺取徐州，以取道郑州南下，攻取武汉。12月下旬，占领南京的日军第十三师团渡江攻六合、滁县，沿津浦线北犯，攻掠明光、蚌埠等地，并试图直趋徐州。守卫在津浦线南段的国民党第十一集团军李品仙部、第二十一集团军廖磊部及五十一军于学忠部，利用既设阵地，在空军支援下，节节予敌阻击，将津浦线南端截成几段，与日军相持于淮河一线。北路日军第十师团矶谷部，于1938年1月上旬占兖州、济宁、邹县各线后，沿津浦线向南突进，欲直逼徐州。国民党第五战区第三集团军孙桐萱部，从鲁西反攻济宁未成。于是，日军继续南下，占嘉祥等地。与此同时，日军又从上海调来板垣第五师团主力，在海军陆战队配合下于1月12日在青岛登陆，然后沿胶济线西进，至潍县南折，沿台潍公路向临沂突进，妄图与北路日军会师于台儿庄。2月下旬，日军约2万余人向临沂进发。国民党临沂守军第三军团庞炳勋部与来犯日军激战3天，日军被迫向北溃退，伤亡3000余人。此战为台儿庄大捷奠定了基础。
3月初，以上3股日军向峄县地区进逼，台儿庄战役拉开帷幕。台儿庄位于徐州东北，北连津浦线，南接陇海路，战略地位十分重要。3月14日拂晓，津浦线北路日军濑谷旅团约3万余人，在飞机、战车掩护下自邹县南面分4路猛攻滕县，中国守军第二十一集团军一二二师，奋勇杀敌，血战3天，17日，滕县失守，师长王铭章殉国。20日日军占领峄县，旋沿台枣支线向台儿庄迫进。国民党第五战区司令长官李宗仁命孙连仲的第二集团军所属3个师、1个独立旅沿运河布防，固守台儿庄；又命汤恩伯的第二十军团所属5个师撤出津浦线正面，以诱敌深入。3月23日，守备在台儿庄的池峰城第三十一师，派骑兵连北上诱敌，第二天日军2000余人在飞机大炮配合下，猛攻台儿庄，部分日军突破城垣冲入城内，第一八六团战士迎战杀敌，入城日军全部被歼。25日，日军向南路进攻，第一八五团主力赤膊挥刀，与敌白刃相见，血战2小时，一度使日军弃炮而逃，但由于日军继续增兵，守军逐渐后退。27日，日军得到增援后再次向台儿庄进攻，冲入城寨东北角，敌我双方展开了犬牙交错的拉锯战，守军多次重创日敌。28日，日军又从台儿庄西北角侧攻，妄图截断第三十一师师部与庄内的唯一通道。29日，第三十一师副师长康法如率第一七六团战士向城西北角反击，与日军进行了激烈的巷战。30日，日军12架飞机狂炸台儿庄，烟火滚滚，情况紧急。城外的第二十七师见势即组织了一支57人的敢死队，跑步进入阵地，在守城部队策应下，同日军展开肉搏战，打退了日军攻势。31日，第二十七师在城外继续猛攻日军侧背，减轻了城防压力。4月1日，日军自庄西北撤退，集中兵力攻城东部和北部，第三十、三十一师急派部队增援，击退日军进攻，化险为夷。3日，敌军改攻城东南门，并掷催泪瓦斯弹，守军死伤7/10，全庄2/3陷入敌手。第五战区司令长官李宗仁急命守卫在北山区的汤恩伯军团急速南下，汤部第五十八、七十五军于6日抵底阁，大败日军，解除了台儿庄东北方面的威胁，并会同孙连仲部形成了对台儿庄日军内外夹攻之势。当日晚8时，中国军队发起全线反攻，庄北日军的火药库被炮火摧毁；深夜，中国军队急速追击，敌窜奔而逃，日酋濑谷见大势已去，只得下令撤退。7日，台儿庄会战胜利结束。
台儿庄会战，连同前后战役共一个多月，双方投入了大批军队。日军有板垣、矶谷两个师团8个联队约3万余人。中国军队共20多个师12万人，其中在台儿庄方面的约6万余人。据当时中国方面报道，这次战役歼敌2万余人，缴获步枪万余支、轻重机枪931挺、步兵炮77门、战车40辆、大炮50余门。据日军方面记载，第五、十师团共死2369人，伤9613人，合计伤亡1.2万余人。中国军队也损失1.9万余人。
台儿庄战役是抗战初期威震中外的重大胜利。它像平型关大捷一样，“大大地沮丧敌人的精神，振起我军的士气，号召世界的声援”。