台儿庄是山东省枣庄市的一个直辖区，是鲁南的重镇。俗称“天下第一庄”。民国时期，台儿庄地处鲁南与苏北交界处，津浦线以东，陇海线以北，有临（城）枣（庄）赵（墩）铁路支线，潍（坊）徐（州）公路及大运河经过，人口万余，居民3000户以上。台儿庄城墙高筑，房屋多为石砌，东西2.5公里，南北1.5公里，街巷12条，东西南北及东南、西北门6座，大碉堡楼9座，小碉堡楼70余座，防守严密，自古以来为兵家必争之地。台儿庄距徐州以北60公里，为鲁南之门户，徐州之屏障。在军事上，台儿庄与徐州有唇亡齿寒之关系。
日军攻占滕县后，下一步目标就是台儿庄。攻打台儿庄的主力是第十师团濑谷支队。
濑谷支队的编制是：步兵第三十三旅团司令部、旅团长濑谷启少将。旅团司令部辖步兵第十联队（缺一个半大队）、步兵第六十三联队、独立机关枪第十大队、独立轻装甲第十、第十二中队、野炮兵第十联队（缺一个大队、两个中队）、临时野炮兵中队（九○野炮）、临时编成山炮中队、野战重炮兵第二联队（一个大队，缺联队段列半部）、支那驻屯炮兵第三大队（十五榴二个中队）、工兵第十联队第一中队、师团通讯队之一部、师团卫生队、师团第一野战医院、兵站自动车第十五中队。此外，将数战重炮兵第一旅团长以下指挥机关之一部与师团参谋逆濑川幸男大尉配属于该支队。
日军占领滕县的当天，濑谷支队根据第十师团长的命令，以步兵第六十三联队第一大队（缺一个中队）基干为右追击队，向韩庄追击；以步兵第六十三联队第二大队基干为左追击队，向峄县追击，支队主力集结于临城附近。
日军右追击队于3月20日占领韩庄；左追击队于20日凌晨占领峄县。占领峄县之目的，是为确保枣庄附近煤田，并为第五师团攻击临沂创造有利条件，以形成会攻台儿庄的阵势。
不料，第五师团进攻临沂受到张自忠、庞炳勋部的沉重打击。3月19日，日军第二军参谋冈木清福大佐到兖州，对第十师团长传达第五师团坂本支队受挫情况，此时南下困难，示意第十师团支援坂本支队。
第十师团20日命令濑谷支队“确保韩庄、台儿庄运河之线，一方面警备临城、峄县，一方面尽量多派兵力向沂州方面突进，协助第五师团之战斗”。
濑谷支队步兵第六十三联队（缺第一、第二大队、一中队）、野炮兵第十联队第一大队（缺二中队），于22自临城出发，向峄县前进，左追击队搜索台儿庄及兰陵镇方向我军情况。
22日10时，濑谷支队将右追击队改为韩庄守备队，守备韩庄；台儿庄派遣队（步六三联队之第二大队、野炮一个大队基干）自峄县出发，确保台儿庄附近之线；沂州支队（步一○主力基干）于23日自临城出发，向沂州方面前进，策应坂本支队之作战；支队主力集结于峄县附近。
与此同时，第五战区也在调整部署。3月18日临城（今枣庄西）、枣庄失守后，津浦线北段告急，刚刚被调到郑州、洛阳一带的孙连仲第二集团军又奉调到第五战区。这时第五战区在台儿庄中央战场的作战部队是：第二集团军三十一师、二十七师、三十师和独立四十四旅，及先期奉命增援并调归第五战区指挥的第二十军团第八十五军、第五十二军、第十三军等。我方在人数上多于日军，但在武器装备上落后于对方。
第二集团军是国民党军队中的一支“杂牌军”，原属冯玉祥西北军，集团军总司令为孙连仲。
孙连仲，原名席儒，后改连仲，字仿鲁，1893年2月2日生于今河北省雄县尤湾村。雄县，古称瓦桥关，民风尚武。孙连仲对武术技艺兴趣浓厚，受“从军报国”思想影响，1912年2月到雄县应募入伍，随冯玉祥南征北战。卢沟桥事变爆发后，孙连仲部于1937年8月初奉命北上抗日。8月6日，蒋介石命孙连仲为第二集团军副总司令（总司令刘峙）兼第一军团司令。8月10日，孙连仲率领第三十军与第四十二军在河北省房山及良乡，与日军作战一个月零九天，日军史称“涿州保定会战”。后刘峙免职，孙连仲升第二集团军总司令。10月，孙连仲率部在娘子关与日军第二十师团作战。1938年春，鲁南告急时，李宗仁把这支武器装备低劣又尚未补整的“杂牌军”放到台儿庄、运河一带最重要的防守阵地，完成阻日军南下的关键任务，是因为他对这支部队的历史和战斗力的深刻了解。当时李宗仁的计划是：让第二集团军在台儿庄部署防御工事，发挥其防守的特长。令汤恩伯军团让开津浦路正面，诱敌深入。利用敌人骄狂心态，设成圈套，请君入瓮。待我方守军在台儿庄防御战之最高效能之时，再命汤军团潜进南下，拊敌之背，围而歼之。
第二集团军三十一师池峰城部自信阳北开，刚到许昌，立即被调到徐州归汤恩伯第二十集团军指挥。该部于3月19日到达徐州车站。全体官兵未下车就地待命。池峰城到徐州晋谒第五战区司令李宗仁。
池峰城，原名凤臣，字滇峨，1903年生，河北京县人。池峰城战斗作风顽强、勇敢，是孙连仲赏识的一员骁将。李宗仁见到池峰城后说：“此次从济南南进之敌矶谷师团，陷滕县，克临城，下峄县，势极猖獗，有进窥徐州之企图。军委会为增强我战区阻击敌军之力量，调第二集团军归我战区指挥。贵部责任重大，望鼎力为之。”
池峰城深悟战局的紧迫和任务的艰巨，他答道：“服从命令，勇敢杀敌是军人的天职。守卫疆土，为国牺牲是我全师将士的决心。此次奉调，两者兼之。我全师官兵决心在李司令长官的指挥下，杀敌立功，报效祖国。”李宗仁听到这铿锵有力的话语，赞道“：西北军的大刀片使日寇丧胆，我是早有所闻的啊。荩忱（张自忠的字）这次在临沂打出了威风，使我对完成歼敌计划增加了一分信心。今见将军，可说又添我一分信心啊。”
随后李宗仁布置了战斗任务：三十一师到台儿庄后驻守韩庄至运河防线，坚决在台儿庄堵住南下之敌，迨第二十军团迂回敌侧背时，聚而歼之。最后李宗仁握住池峰城的手勉励说：“我围歼冒进之敌的计划能否实现，现在关键在于台儿庄一线能否守住。望你全师将士，勇敢杀敌，立功报国，以告慰全国父老兄弟。”池峰城道：“请长官放心，峰城决不辜负厚望，坚决完成任务！”
第三十一师属第三十军（军长田镇南），下辖第九十一旅（旅长王冠五）及九十三旅（旅长乜子彬）及师直属部队，全师共8000人。该师战斗力较强。但由于是非嫡系部队，装备较差。各连步枪较杂，多为旧枪，汉阳造七七步枪居多，也有日本三八式和六五式，另外还有少量捷克式七九枪。每连配有轻机枪3～4挺，并有少量掷弹筒，手榴弹较充足（战后统计全师共用了30多万枚），营配有重机枪3～4挺，团有迫击炮连，配八二追击炮3～4门。
3月21日，三十一师在车辐山集中完毕，遵照军团迂回作战的方略，担任在台儿庄正面诱敌之任务，以期歼灭日军于峄南地区。与此同时，第二集团军第三十师、第二十七师自河南先后奉命向徐州以北集结。
此外，第二十军团的张轸第一一○师奉命暂归李宗仁长官指挥。该部下辖第三二八旅，旅长辛少亭；第三三○旅，旅长李世勋，共有六五五团、六五六团、六五九团、六六○团4个团，师直属部队有工兵营、骑兵连、通信连、特务连等。全师官兵为11340人。该师于3月18日奉命由河南临汝出发，到许昌乘火车于25日抵徐州。李宗仁即拨该师归孙连仲总司令指挥，接替五十二军担任万年闸至韩庄15公里河防任务。与第二集团军第三十一师在台儿庄形成正面防御阵势。
22日，第三十一师到达指定地点。根据日军在峄县的兵力部署，池峰城师长即以九十三旅一八五团置于北洛，旅部率一八六团禹营置于南洛；一八六团担任台儿庄守备；九十一旅一八一团置于台儿庄，以一八二团担任台儿庄运河南岸警戒。师部推进至台儿庄。从整个地形看，这是一场背水之战，对我方是不利的。但它体现的是“置之死地而后生”的原则与精神。
3月23日拂晓，第三十一师乜子彬第九十三旅王郁彬第一八五团及师骑兵连自台儿庄北上峄县诱敌，与自峄县出发沿台枣支线南下的日军濑谷支队台儿庄派遣队骑兵200余人，步兵600余人，坦克6辆，炮4门，在康庄（位于峄县南3公里）发生遭遇战，台儿庄保卫战爆发。
上午10时，日军续增300余，炮4门，沿枣台支线向东南追击至赵庄，与我骑兵连接战。11时，敌再增500余人，战车7辆、炮6门，向赵庄、前城、獐山之线压迫，并炮击泥沟。下午2时，敌攻占赵庄，包围前城，同时以猛烈炮火攻击獐山，我副营长王保甲、连长寇宝珍率部占据有利地势，沉着应战。王保甲负伤不下火线。我军手榴弹用尽，后方联络线被截断，王团长多次下令后退，寇宝珍以“人在阵地在”之决心，坚持战斗。敌机炮联合轰炸，我官兵百余人，几乎全部牺牲，獐山陷于敌手。
敌占獐山后，继以炮火攻击泥沟，高鸿立营据险抵抗，且战且退，下午5时半，敌步炮10门，战车5辆，一齐向北洛发起进攻，我简易工事被毁殆尽，北洛中弹着火数起。一八五团王郁彬团长率高营奋勇抵抗，毙敌甚众，同时由令颜营所部从欢堆出击，未能奏效。激战半小时，我官兵续有伤亡，敌攻击益急，北洛失陷，我军扼守南洛、贾家口。
是夜，九十三旅一部袭击北洛，未奏效。
24日清晨，大雾蒙蒙，日军步炮兵千余人，绕过南洛，经邵庄、刘家湖向台儿庄进攻。我部队逐次抵抗，后退至园上，但终因敌炮火猛烈，我守兵牺牲甚众，中午园上被敌占领。同时，敌以步炮猛攻台儿庄，又派飞机3架轮番轰炸，战况益烈。我台儿庄守备队奋力拼搏，打退敌人数次进犯。
池峰城料断，敌以主力攻击台儿庄之企图非常明显，为确保台儿庄，拟以部队攻击当面之敌，乃令九十三旅先机反攻。派一八五团全部，不顾一切牺牲，向刘家湖、邵庄之敌进攻，一八六团同时全力反击当面之敌，规复园上村。
下午2时，第一八五团由南洛向敌绕攻，动作神速，激战时许将敌主力击溃，斩获甚众，并占领刘家湖。该村敌兵不足百人，除8名逃至村南跪地举枪投降外，其余全部被歼。邵庄之敌，大部向沧浪庙、边庄溃退。我一八六团反攻园上之敌，因敌据碉楼死守，未能奏效。
下午5时，北洛之敌复向刘家湖反攻，经高鸿立营击退。同时沧浪庙、边庄敌人也全部反攻，炮击猛烈。敌以优势山野炮向台儿庄猛烈轰击。顿时全庄烟火四起，北部城墙多毁于炮火，师指挥所所在地南车站大楼被击毁，被迫转移到车站南面铁路桥下。台儿庄寨外为开阔地带，敌人要攻占台儿庄，迫近寨墙，完全暴露于我阵地前，在我密集火力扫射下，敌兵死伤甚众。敌急调平射炮10余门，配合飞机向寨墙狂轰滥炸，硝烟弥漫，寨墙逐段断裂倒塌，后被轰开几个缺口。我官兵伤亡甚巨。下午6时，敌人200余冲入缺口，情势危急。我一八六团团长王震、营长姜常泰带领预备队及时赶到，马上组织反击，集中轻重机枪向敌人猛烈扫射，歼敌大部。敌后继部队连续数次冲入，均被击退，弃城逃窜。
当日下午，蒋介石到达台儿庄邻近车站视察战事。是夜，副总参谋长白崇禧偕第二集团军总司令孙连仲到台儿庄南站视察。白崇禧登上车站大楼，俯视战场，此时夜幕已深，但台儿庄外许多村落火光通明，硝烟弥漫，许多被炸弹引燃的建筑仍在燃烧，十分悲惨。同时还不时传来零星枪声。白崇禧判断：“敌将以一部牵制我汤军团，而以主力攻略台儿庄，以崩坏我迂回军之旋转轴。”当询悉三十一师仅有步机枪与迫击炮等简陋装备，无法与优势敌兵抗衡时，白崇禧即手令调炮七团一部、战车防御炮一连及铁甲车第三中队归三十一师指挥，并对池峰城说：“国家仅此炮二连（团），一尚在机校，一始调汴，希重视之。”又说：“台儿庄乃徐州屏障，今此要点，已非汤军团之旋转轴，乃战区旋转轴也，期能三日守，俾战区获得时间余裕，敌可就歼也。”勉励将士努力作战，嘱其从战局出发，实现聚歼顽敌的目的。
当晚，战区即派炮兵第七团一营前来协助三十一师作战。该炮团团长张广厚亦前来亲自指挥。该炮最大射程1.3万米，其威力不亚于日军野炮，该营在台儿庄运河南岸布防。