临沂位于沂水与枋河之交，是鲁南地区的军事重镇，距台儿庄90公里，为徐州东北之屏障。临沂南通新安镇到徐海，西南通台儿庄、枣庄、峄县，西通费县、泅水，西北通蒙阴、新泰，东北通莒县、诸城，东通日照，为鲁南公路之中心，交通十分便利。日军要南犯，誓必夺之。而对我方来说，临沂如若不保，日军则可直驱台、徐，津浦、陇海均遭威胁，其存亡得失牵动全局，战略地位至关重要，故必堵截，阻其南下。
先期在临沂交手的是日军第五师团的板垣征四郎和我军第三军团的庞炳勋。
第五师团师团长板垣征四郎，1885年生于日本岩手县，是一个双手沾满中国人民鲜血的老牌侵华分子。其所率师团同矶谷师团一样是日本军队中的精锐部队，号称日本“铁军”。该部下辖第九、第二十一两个旅团，约2.5万人，战马7600匹。七七事变爆发后，板垣即奉命率部于8月中旬在塘沽登陆。9月25日板垣师团在平型关遭八路军一一五师伏击，被歼1000余人，但气焰仍十分骄横。此次进犯临沂，板垣使用的是由长野、片野、栗饭原三个联队以及野炮联队主力、山炮兵一个中队组成的坂本支队。
与板垣对阵的庞炳勋第三军团则是一支杂牌军。庞炳勋，字更陈，1879年生于河北新河县。1922年在第一次直奉战争中，一条腿受伤致残，故有“庞瘸子”之称。七七事变爆发后的第三天，蒋介石电令庞炳勋开赴津浦前线，协助宋哲元拱卫平津。平津失守后，其第四十军在沧州以北姚官屯与敌激战四天四夜。撤退后奉命将部队调至安徽砀山，归第五战区指挥。1938年初，庞被任命为第三军团军团长。
庞炳勋部虽号称军团，但属下只有第四十军一个军，仅辖第三十九师一个师（师长马法五）两个旅：第一一五旅（旅长朱家麟）和第一一六旅（旅长李运通），整个军团实际上也只不过有5个团的兵力，兵员1.3万人，装备中正式步枪8000支，手枪900支。庞炳勋年逾花甲，资历甚深，久历戎行，经验丰富。内战时期，他善于避重就轻，保存实力，能说善辩，为人圆滑，被称为不倒翁式的人物。凡与之共室操戈者，莫不对他存有戒心。划归第五战区建制之后，李宗仁曾在徐州接见了庞炳勋。他虽久闻庞不易驾驭，但于谈吐中察言观色，觉得庞尚不失为爱国诚实的军人，便与其推心置腹，促膝长谈，勉励其奋起抗日，战死沙场，尽军人之天职，庞颇有知遇之感。之后，李宗仁问庞：“你的部队有什么困难？”这一问算是问到庞炳勋的痛处。他告诉李宗仁，他本来就只有5个团，南京中央还令他限期归并，否则就停发整个部队的粮饷，这实际上就是要缩编、遣散他的部队。李宗仁闻知此事，立即与南京交涉，要求蒋介石收回成命。不久，军令部答复：“奉委员长谕，庞部暂时维持现状。”当李宗仁将此消息告知庞炳勋时，他感激之下，当即表示：“长官请放心，我这次决不再保存实力，一定同敌人拼到底！”
此次临沂吃紧，第五战区已无军队可资派遣，只有调出庞炳勋这支南京中央久已蓄意遣散的“杂牌部队”，来对抗在数量上和装备上都占优势的号称“大日本皇军中最优秀的板垣师团”。
2月7日，庞炳勋奉李宗仁之命由海州移防临沂。其部队抵达临沂时，当地百姓热情欢迎，青年壮年踊跃投军。一位老大娘把一篮鸡蛋送到总部以示慰劳，庞炳勋深为所动，有感而发，对临沂父老说：只要我庞炳勋在，即剩一兵一卒一弹，也要与临沂共存亡。
2月下旬，日军开始大举南犯，21日，敌距莒县城只有十五六里，而莒县县长弃城而逃，莒县成了一座空城。正执行游击任务的第五战区第二路游击队司令刘震东电话请示庞炳勋，是否据守莒城，庞炳勋回电，命令刘震东率部暂时入城，坚守6小时，援军随后即到。刘震东于21日下午5时半率部入城，堵塞城门，布岗设防，做好一切固守城防的准备。夜间12时，庞炳勋所派援军朱家麟第一一五旅抵达莒县。因城南公路和桥梁被南逃的莒县县长破坏，援军只好下车跑步入城。
22日凌晨4时，城外已有敌人在活动。刘震东下令沉着冷静，严加注意，不到一枪打一个的时候，决不发枪。到了5时半，已经密集到县城四周的敌人开始了总攻，游击队员们沉着应战，待敌来到城下，攀上城墙，再打出去，进犯之敌横尸城下。城内的援军第一一五旅听到枪炮声，也马上出动。自东门至南门，由刘震东部负责，余则全由第一一五旅扼守。刘震东指挥所部一面巩固城防，一面分拨两营士兵冲出南门，分东西两路包抄敌人后方。到9时左右，出城部队已到敌人背后，冲锋号响起，一片喊杀声。敌人狼狈而逃，我部乘胜追击，搜索前进。
然而，莒县西、北两面却被千余敌人包围，炮火猛烈异常。第一一五旅二二九团团长邵恩三左臂受伤，士兵也伤亡甚重。邵团长坚持在城上督战，不下火线。战斗持续到下午2时，敌人始被击退。半夜时分，敌又大举向莒县城猛扑，有敌人一班带轻机枪一挺，偷上城西北角，向城东南面猛烈扫射，城内我军顿时混乱，纷纷向南门撤退。此时副旅长黄书勋偕团长邵恩三亲登城南门，组织火力，命令坚决消灭偷袭城西北角之敌，并令炮兵自城东南角向西北角发射，终将上城之敌全部消灭。
23日拂晓，日军又自城东北角偷袭而上，刘震东指挥部下，不顾一切，抢堵还击。正在他忙于往复督战之际，不幸身中敌弹，壮烈殉国。刘震东殉国后，城东北角失守，敌继以大炮飞机轰炸，掩护大部队由此续进。板垣师团元野联队千余人，汉奸刘桂堂部2000余人，围城环攻，牵制守军。第一一五旅守城部队仅两营，连日激战，团长及此两营长均已负伤，士兵亦伤亡甚众。最后不得不放弃莒县县城，撤至夏庄一带，边抵抗，边整顿。3月初，又撤到临沂以东相公庄一带休整。
敌占领莒县之后，遂南下经夏庄、黄庄向我临沂前沿阵地汤头逼近。自3月3日开始，敌与我守军第一一六旅二三二团接触，战况日趋紧张。敌机每日数次轰炸，又不停地以排炮射击，坦克掩护敌军向我阵地冲击，炮火异常猛烈。我军英勇战斗，不怕牺牲，战事持续了五六日之久。第二三二团伤亡过重，不得不放弃汤头，撤至后方整顿。
汤头撤守，太平、白塔吃紧，庞炳勋乃命令第一一六旅二三一团坚守，拖住敌军主力；另由垛庄调回补充团，由葛沟以北抄袭敌之右侧背，由相公庄抽调第一一五旅二二九团沿沭河东岸抄袭敌左侧背。当第二二九团第二营前进至铜佛官庄时，与敌相遇，展开激战。我第三营营长汪大章身先士卒，冲锋陷阵，致为敌击中，壮烈牺牲。敌军见我将其左右包围，被迫于3月6日放弃太平、白塔一带被占村庄，撤回汤头镇，我军遂收复汤头以南阵地。
连日来，敌步、炮联合，反复冲杀，庞炳勋指挥部队不顾生死，奋力抵抗，阻敌于汤头一线，使其不能越雷池一步。时下，数十名随军在徐州一带观战的中外记者和驻华使馆武官，都想不到“堂堂最优秀的大日本精锐师团”竟受挫于名不见经传的中国“杂牌部队”，一时间中外哄传，喝彩声四起，板垣因颜面攸关，督战尤急。3月9日，他将第一线攻击部队增至5000余人，令坂本支队长亲自坐镇指挥，再次向庞军猛扑，先后占我沂河以东汤头以南之南沙岭子、白塔、太平、停子头等村庄，距临沂城越来越近，战局越来越紧急。庞部苦战经旬，伤亡惨重，渐感不支，连电告急。
3月上旬，庞炳勋接到李宗仁的电报：临沂为台、徐屏障，必须坚决保卫，拒敌前进。除已令张自忠部前往增援外，并派本部参谋长徐祖诒前往就近指挥。这让他又喜又惊。有援军，让他高兴；但来的是张自忠，庞炳勋心中没底。
张、庞之间在1930年的中原大战中结下深仇，庞炳勋先反蒋后投蒋，并出其不意地对友邻部队——张自忠的第六师发动夜袭。使张自忠险遭不测，历经奋战，方得脱险。从此，张自忠发誓，此仇不报，誓不甘心。
张自忠的态度如何，成了临沂战场战事的关键。张自忠，字荩忱，1891年8月11日生于山东临清县唐家园村。20岁时考入天津法政学堂，次年转入济南法政专科学校，专攻法学。1914年，因痛感列强横行，民不聊生，断然投笔从戎，开始了军旅生涯。从属于冯玉祥的西北军。1933年长城抗战中威震敌胆，所向披靡，大扬第二十九军大刀片的神威。1935年春，第三十八师移师察哈尔，张自忠兼任张家口警备司令。同年11月，张自忠任代理察哈尔省主席。12月，冀察政务委员会成立，宋哲元任委员长，张自忠任委员。1936年5月，又调任天津市市长。七七事变爆发后，处在日蒋夹缝中的冀察政务委员会处境困难而复杂。他们想操枪举戈，杀个痛快，但为自己的地盘考虑，对事变的和平解决还抱有一线希望。但日军侵华的脚步加快，战火蔓向华北，乃至全国。事实使第二十九军认识到，同日本言和平只是一种幻想，唯一的出路是奋起抗击。但此刻为时已晚，日军已发起了进攻，第二十九军陷于被动，高级将领佟麟阁、赵登禹在激战中阵亡，第二十九军难于立足平津。为了掩护大军南撤，第二十九军军长宋哲元经反复考虑，决定留下张自忠代理冀察政务委员会委员长兼北平市市长、北平绥靖主任等职，与敌周旋以作缓冲。张自忠本心极不情愿，知此举必遭国人唾骂。但为了抗战大局，他还是临危受命，滞留京城。28日晚，第二十九军撤出北平。临别时，张自忠心情沉重地对原北平市市长秦德纯说：“你和宋先生成了民族英雄，我怕是成了汉奸了。”言毕，潸然泪下。果不其然，在他孤身滞留北平与敌周旋期间，国人因不谙内情，对他误会更深，一时“汉奸”之声四起，“国贼”之斥遍街。张自忠处于极度的苦闷之中，抗日之志既不得舒展，为顾全大局而忍辱含垢的真情又无法向世人剖白，他心情沉重，痛苦异常。日军侵占北平后，便要求张自忠通电反蒋，共同反共，他断然拒绝。日军遂对张自忠置之不理，另建傀儡政权“北平治安维持会”。张自忠再无留京必要，且处境十分危险。于是决定脱离险境，几经周折，逃离北平，转赴南京。期间，冯玉祥、宋哲元、鹿钟麟、李宗仁等人多次向南京中央说明真相，从中转圜。之后，蒋介石在四方城官邸两次召见张自忠，同意不举行军法会审，但由于在平津失职，给予撤职查办处分，以平息舆论。12月，在宋哲元及旧部官兵的强烈要求下，张自忠终被获准赴河南新乡就任由第三十八师扩编而成的第五十九军代理军长。返任前，他特地到李宗仁处辞行，对其为自己出山而奔走表示感谢，激动地说：“蒙长官成全，恩同再造，我张某有生之年当以热血生命报答国家，报答知遇！”
复归部队后，在第五十九军官兵组织的欢迎会上，张自忠的讲话同样是一曲慷慨悲歌，他说：“在天津时，我连累了大家。我们没有为国家为民族殉职，这是我们的耻辱。现在敌人气焰嚣张，正是我们戴罪图功之时。无论什么部队都可以打败仗，唯独我张自忠的部队不能打败仗。我的冤枉，只有一拼与死，拿真实的战绩，才能洗白干净。”
张自忠回任时，第五十九军归第一战区程潜节制。1938年初，因徐州方面吃紧，军令部调第五十九军增援第五战区，归李宗仁节制。能在李宗仁麾下效力，张自忠大喜过望。此时，淮河战场出现危势，华中日军在临淮关、小蚌埠、怀远3处强渡淮河，小蚌埠、曹老集相继失守，李宗仁急令张自忠驰援第五十一军于学忠。
第五十九军从徐州出发，2月21日抵达固镇，即与北进之敌遭遇。五十九军迎头痛击日军，连克曹老集、小蚌埠，将敌驱至淮河之南，淮河北岸局势趋缓。之后，第五十九军奉命调往山东滕县，与从北面南下之敌对阵。
3月初，第五十九军集结于滕县以西大坞村、池头村一带。张自忠奉命以第三十八师之一部袭击邹县之敌，主力向济宁、兖州间之敌进攻。部队正在行动中，张自忠接到战区长官部急电，要他火速赶到徐州。
李宗仁是为临沂庞炳勋被围请援一事召张自忠而来。李宗仁对张、庞宿怨有所耳闻，且第五十九军奉调第五战区时，张自忠就曾向战区参谋长徐祖诒表示，在任何战场上皆可力拼一死，独不愿与庞炳勋共事。但战事紧急，他还是电召张自忠前来，恳切相商：“你和庞炳勋有宿怨，我甚为了解，颇不欲强人之所难。不过以前的内战，不论谁是谁非，皆为不名誉的私怨私仇。庞炳勋现在前方浴血奋战，乃属雪国耻，报国仇。现下除你之外，我手头已无机动兵力可调。望你以国家、民族为重，捐弃个人前嫌，受点委屈吧。我今命令你即率所部，在临沂作战。你务要绝对服从庞军团长的指挥，切勿迟疑，致误戎机！”张自忠听后，不假思索，立身即答：“绝对服从命令，请长官放心！”随后，张自忠返回军部，立即安排起程事宜。