汤恩伯根据李团长、王军长两方面的报告，判断由临沂窜至向城、邵家庄一带的日军共计3000人以上，威胁军团左侧背，而台枣支线上日军第十师团濑谷支队在官庄、兰成店支线，从右侧背对军团构成威胁。汤军团左右两侧背受敌，夹在坂本支队与濑谷支队之间，相隔仅30公里，假使敌由两面对进，则相对的会合点便不足15公里了，而我军团、军、师指挥机关所在地，恰好都在这些会合点上，随时可能遭受敌炮火的打击。为了争取会战的胜利，汤恩伯经过缜密考虑，决心转用兵力，以迅雷不及掩耳的神速行动，把我军的兵力一律由内线转为外线，由被动转为主动，变包围为反包围，变不利为有利的态势，将日军主力和一部都纳入汤军团的包围圈之内，一举将敌席卷于台儿庄附近，与孙集团协同灭敌。
汤恩伯下此决心时，曾同关麟征军长商量，关将军表示坚决同意。同日下午3时半，汤恩伯下达命令：一、由临沂南进之敌步骑兵三千余，炮二十余门，战车十余辆，有援台儿庄附近之敌，威胁本军团侧背之模样，其主力已到向城、作字沟附近，其先头一部，已与我第四师于爱曲附近激战。
二、第五十二军留一部于台儿庄附近监视，以主力依洪山镇为轴，外翼经该镇东北转向向城、爱曲、秋湖席卷，将敌卷入我包围线内。
三、第八十五军（该军以第二师归还第五十二军建制）由青山、平傅山口及向城附近一带，分数纵队，强行向南桥、鲁坊一带之敌扫并掩护第五十二军之侧背，排除台儿庄及峄县、枣庄两面敌人之尾并截留牵制爱曲、秋湖之敌，以阻止其前进。
汤军团战略转移开始了。
4月1日零点时分，关麟征率第五十二军由腰里徐、柿树园乘夜与敌脱离，急向右旋回约20公里，于拂晓到达洪山镇以东的鲁坊；第八十五军第四师先占领爱曲、秋湖，拒止向台儿庄分进之敌，并掩护五十二军自由安全地向右旋回，王仲廉率第八十五军第八十九师乘夜穿越作字沟、邵家庄间敌之背侧，向南桥、凤落之间集结。上午7时，汤军团各军师根据军团长命令，分别展开对凤落、作字沟攻击之态势，急速向北攻击，与第四师协同攻破作字沟、凤落、邵家庄一带之敌以后，即再旋转面对西南攻击，与孙集团再度夹攻台儿庄当面之敌而歼灭之。
2日，汤军团将濑谷支队与坂本支队一起卷入我包围圈内。此时，军团所属各部都欢声雷动，士气奋发，一鼓作气，秘密神速前进，将作字沟、凤凰山、洪山、前烟头、小洪山、西房前、爱曲、秋湖附近及小王庄、凤落、小锅里一带之敌约四五千人像秋风扫落叶似的，于两昼夜中歼灭大半。
正当汤军团战斗顺利进行之际，日军大批增援部队赶到了战场，敌一部仍在爱曲、兰陵附近抵抗，主力则向西南底阁、杨楼一线窜扰，似要会同台儿庄附近之敌向岔河镇进攻之势。战区长官部电令缪激流第五十七军第十一师第三三三旅归第二十军团指挥，于南乔、鲁坊待命；又令第七十五军黄光华第一三九师、张琪第六师，李仙洲第九十二军吴良琛第十三师及邳县炮兵第四团，各就现地开赴岔河镇归第二十军团指挥。
当晚8时，第五战区司令长官李宗仁发布命令：
一、敌第十师团及第五师团之一旅，自经临沂、台儿庄诸战斗后，伤亡极大，现参加决战之兵力，至多不过五个联队，附山野炮五六十门、重炮数十门、战车数辆，其一部约千余人，在洪山镇北方秋湖附近，被我第二十军团包围，其主力向台儿庄东侧陈瓦屋、凤凰桥、马家窑一带运动，续向第二集团军右翼迂回攻击中。济南、大汶口、汶上、济宁、滕县间为敌第五师团之另一旅团，分段守备中。
二、第二十军团，以一部消灭洪山镇北方之敌，以主力于三日保持东西正面，向台儿庄附近之左侧背攻击，逐次向左迂回，务在台儿庄左侧地区，将敌捕捉歼灭之。攻击开始时间，由该军团自定。
汤军团于3日发起总攻击。此时，汤恩伯接到蒋介石于2日上午10时的电令：
临峄台韩间之敌，经我军连续猛攻歼灭过半，其退路断绝，增援无望，尚作最后之挣扎。临沂方面之敌，苦战之余，放弃战场，竟分兵向台儿庄转进；淮南之敌，不顾侧背危险，向蚌淮集结；晋南豫北之敌，不惜放弃既得地区，抽出兵力，以图策应，均足证明敌人对于鲁南会战之重视，及其危殆之程度。仰我英勇将士，其各认清本会战之重要性，并我军将获全胜之现状，严令所属作最大之努力，为战略上适切之协同，促成绝对的胜利；以利全局，发扬国威，有厚望焉！
总攻开始后，第五十二军主力向向城附近迂回包围秋湖、作字沟之敌，再经兰陵镇一带向西南席卷，是日上午，克复西房前、小王庄、凤落、作字沟、小锅里等地。敌军司令部所在地刘庄有步骑千余，亦被我军击溃，敌退据红炉口顽抗，至上午10时，敌大半就歼。第八十五军向凤凰山、前后烟头、小洪山之敌攻击，奋勇夺回小洪山、前烟头，乘胜自四户镇附近向南扫荡。
截至是日止，汤军团胜利结束了爱曲、兰陵间的扫荡，同时也肃清了向城到秋湖路上的残敌，取得了截击坂本支队的胜利。4月4日，坂本支队窜至萧汪附近，受我周暑第七十五军的包围攻击，陷入苦战。同日，坂本支队接到板垣师团长的命令，该支队速将当面之敌击灭后，主力攻略沂州转进。
扫清了来自临沂的障碍后，汤军团便又继续南下，配合孙集团歼灭进犯台儿庄之敌。4月3日，汤军团第五十二军第二师奉命派参谋前往台儿庄与孙集团联络。台儿庄守军告以当面敌情，请即时派兵侧击敌背，以解台儿庄之危。自4月4日开始，王仲廉第八十五军、关麟征第五十二军，先后各自在大顾珊及底阁、杨楼同日军展开了4昼夜的鏖战。
4月4日，汤恩伯以电报训令关、王、周三军长并全体将士：
顷奉司令长官李手令，当面之敌连日苦战，陷入重围，已现动摇之势，望我全体将士再接再厉，奋勇猛攻，务在战场内将敌捕捉歼灭，毋使生还。万一敌突围逃逸，各军可不待命令，断行猛烈果敢之追击，绝对不容其在晋南立足。本战役为国家民族生死关头，本长官亲临前线督战，决按军律明定赏罚，望共勉之，……仰一体切实遵照为要。
这是汤恩伯对全体战士战前的动员令。自是日起，汤恩伯急调刚刚赶到台儿庄战场的第七十五军第十三师至南桥、鲁坊，向北警戒，并搜索板垣第五师团由临沂派来的后援部队。同日，汤恩伯军团长将第五十二军、第八十五军与第七十五军一部，以由右至左之顺序，全力指向枣台支线，开始进攻。各部队发起攻势后，五十二军在洪山镇以西、兰陵镇以南，击破机动应战之敌，再度占领甘露寺至杨楼与陶墩之线。
同日，王仲廉军长亲临大小岗子附近，督率第八十五军第八十九师到大良壁附近部署向鸾墩、大顾珊之攻击准备。该师五三三团自凌晨3时开始攻击沟徐、蔡庄、朱滩、大顾珊，激战1小时，克复沟徐、朱滩，旋即续攻蔡庄、大顾珊，复以第二六五旅五三○团由清墩迂回至大顾珊侧背，协同五三三团攻击。蔡庄之敌二三百人被击退，我军占蔡庄，而大顾珊之敌异常顽强，死守不退，经我三面围攻，敌不支，狼狈逃窜，我军占领大顾珊。
5日上午9时，日军步骑千余，炮4门向大顾珊猛攻。大顾珊阵地由从临沂调来的五十七军十一师三二三旅六六五团防守，该团沉着应战，争夺十分激烈。第八十九师张雪中师长派罗芳圭五二九团驰援闸甫庄至潭庄附近，六六五团因伤亡过重，力不能支，蔡庄、大顾珊陷入敌手。张雪中又以五二九团反攻潭庄、蔡庄，五三○团反攻大顾珊。罗芳圭带领五二九团冲锋，官兵于枪林弹雨之下抱有我无敌之决心，再度夺回潭庄。该团三营营长叶支荣身负重伤，全营伤亡2/3。晚8时，五三○团开始反攻大顾珊，敌守军千余顽强抵抗，该团几次冲入村内，牺牲甚众，仍未攻下，战至午夜双方形成对峙状态。同日，配属于第八十五军第八十九师的野炮兵第七团发现黄家楼、三河口之间有敌步骑兵500余人，炮12门，企图进击我军左翼之贺庄，抄八十九师之背后，对我构成严重威胁。炮七团张广厚团长趁敌炮兵尚未进入阵地，便下令八连炮兵猛烈开火，敌炮兵在陈瓦房、耿庄间阵地遭我猛烈炮火毁灭性打击，无还手之力，遂狼狈逃窜。经此一战，创造了我以劣势炮兵消灭敌优势炮兵的奇迹。
6日凌晨4时，第八十九师五三○团继续攻击，冲入大顾珊附近之围砦，正准备巷战之际，敌忽向我逆袭，彼此反复冲杀，激烈异常，该团三营营长黄鼎壮烈牺牲。敌又以一部从贺庄向五三三团阵地猛攻，企图解大顾珊之危，该团即予以迎头痛击，敌不逞而去，我亦未下大顾珊，复再冲杀10余次，仍成对峙局面。第八十九师张雪中师长以连日围攻大顾珊不下，乃亲自督率五二九团作周密布置，并配属炮七团集中炮火射击。五二九团团长罗芳圭，临危受命，拿出了当年南口之战一往无前同敌人殊死战斗的精神，誓死率部冲锋。6日下午5时，罗芳圭与副团长李有于在大顾珊村外阵地指挥战斗，隐蔽在一间民房土墙后观察敌情，准备率部夜袭敌阵，不幸被敌炮火击中，头部、胸部多处中弹，倒卧在血泊之中。部下闻讯，急来抢救，罗芳圭说：“你们不要管我，只要不放弃这一道阵地……”话音刚落，便停止了呼吸。罗芳圭以身殉国，激励了全团官兵杀敌复仇的决心，终于在7日上午10时拔除了敌人盘踞的大顾珊村寨，敌兵2000余人，除少数窜逃外，大部被歼。
在4日发起总攻之时，关麟征率第五十二军自洪山镇向兰陵之敌追击，当夜收复兰陵镇。兰陵镇距台儿庄东北25公里。避居山区的难民，获悉兰陵已为我军收复，便纷纷返回家园。5日，第五十二军由兰陵附近沿桥头、甘露寺及由洪山附近沿孙楼、柳树、王房庄、晁村一带节节冲破敌阵，并进占底阁、杨楼之边缘，造成合围阵势。底阁、杨楼有日军3000余人，以坦克掩护突围，五十二军以猛烈交叉火网封锁出口，敌突围不成改变计划，增固材寨阵地，作死守打算。五十二军组织敢死队分批攻击，摧毁敌阵，并发炮轰塌碉楼，嗣进入村寨巷战，反复冲杀肉搏，敌冲锋两次，均遭失败。我反攻四次，牺牲巨大，最终将寨冲破，于6日大败坂本支队，收复底阁、杨楼，歼敌1300人，残敌千余北退却。
同日上午8时，汤恩伯命令五十二军、七十五军、八十五军及五十七军分区围击濑谷支队及坂本支队，向敌后纵深突进。
6日，汤恩伯接到蒋介石5日12时手令：
台儿庄附近会战，我以十师之众对师半之敌，历时旬余未获战果。该军团居敌侧背，态势尤为有利，攻击竟不奏效，其将何以自解？急应严督所部于六、七两日奋勉图攻歼灭此敌，毋负厚望。
汤恩伯复电蒋介石，立下军令状：“本军团今（6）日12时若到不了台儿庄，恩伯愿受军法处分。”消息传到台儿庄前线，第二集团军官兵“欢跃如狂，均枕戈以待，预作追击之准备”。
当日第八十五军在北洛、泥沟方面加紧攻击濑谷支队，第七十五军在萧汪（台儿庄以东8公里）围攻坂本支队。第五十二军在底阁、杨楼大败坂本支队，从根本上解除了日军对汤军团侧背及台儿庄东北方面的威胁。接着第二十军团全力向台枣支线之敌进迫，与据守台儿庄之第二集团军协力，对濑谷支队等部形成内外夹攻之势。下午3时，王仲廉军长抵达第八十九师第二六七旅潭庄旅指挥所督战，4时，王仲廉电话报告汤恩伯，日军开始总崩溃。稍后，在前线督战的关麟征，亦发现日军退却的迹象。于是，关、王两军长均命其所部乘胜猛攻退却之敌。
6日下午3时半，濑谷支队决定当晚从台儿庄向北撤退。第十师团长矶谷接获濑谷支队撤退的报告，即电话命令濑谷支队“中止转进”。但因该支队人困马乏，弹尽油绝，而汤军团的潜行南下，如同猛虎下山，使濑谷支队全线发生动摇，而坂本支队决定回返临沂，濑谷支队抗命不遵，仍由六十三联队长赤柴指挥撤退。同日夜，我军开始全线总攻，汤军团担任台儿庄外包围，孙集团负责正面清扫。7日凌晨，我军冲出台儿庄，向北追击，残敌向峄县、枣庄退走。台儿庄战役胜利了！我军歼敌万余，缴获步枪万余支，轻重机枪931挺，步兵炮77门，战车40辆，大炮50门。我军伤亡3万余人。台儿庄大捷，震惊中外，举世瞩目。这是我国抗战以来取得的最重大的胜利。