再则小岭喋血抗战。27日早7时，集结于义堂集附近的敌铃木联队，兵分3路向第五十九军发起进攻：一路由二十里铺、大岭向我小岭攻击，一路经由响河屯攻我南沙埠，一路经城后攻我古城。其中尤以小岭方面战斗最为激烈。敌派飞机6架，往复盘旋轰炸，村中房屋全被炸毁，浓烟滚滚，火焰烈烈。第三十八师守军因无所依据，阵地曾一度失陷，但敌立足未稳，阵地旋复夺回。于是敌之攻势更加猛烈，第三十八师守军大部伤亡。眼看阵地又将不守，师长黄维纲不得不向张自忠请援，张自忠说：“你们要坚决顶住！我们困难时，敌人更困难。要坚持最后5分钟！”黄维纲焦急地回答说：“问题是正面部队有顶不住的样子。眼下这里实在无人可调了！”张自忠这个从不示弱的硬汉，一听此言，怒火中烧：“没有人了怎么还在说话！”黄维纲听罢，二话没说，放下话筒就奔第一线督战。可张自忠话虽这么说，他也深知黄维纲的为人，不到万不得已的时候，他是不轻易求援的。于是放下话筒后，便立即亲率保卫军部的手枪营和第六七六团第二营前往赴援。到达前线后，他登上南道、北道的小高地，举起望远镜仔细地观察敌情。这时，敌军似乎有所察觉，连珠般的炮弹射来，在他周围纷纷爆炸。可再看他，似钢浇铁铸一般纹丝不动。这等沉着立即使军心大稳。通过观察，他发现了敌军的破绽：其左翼攻势猛烈，右翼则火力较弱。他命令一部对左翼佯攻，吸引敌人火力；另一部组成敢死队，对敌之右翼发动袭击。身佩大刀的敢死队员个个膀大腰圆，刀法娴熟。朦胧夜色中，他们由小岭村后秘密绕至敌后背，敌全然不察。突然间，神兵似从天降，敢死队大刀抡圆，寒光闪闪，敌身首异处，人仰马翻，幸存者失魂落魄，四下逃窜。此时，正面守军趁机大举反击，日军全线崩溃，落荒而逃。
28日晨，日军又增步兵千余、炮12门，共约步兵4000余人，炮20余门，向小岭、南沙埠、古城之线发动了更加猛烈的反扑。这对于已是师劳兵疲、伤亡惨重的第五十九军来说，几乎是一种难以承受的巨大压力，但哀兵不倒，虽死后生，全体官兵喋血抗战，前仆后继，战事之激烈空前未有。各处守军虽都有大批壮烈之牺牲，但也毙敌甚众，遗尸遍野。激战竟日，我阵地竟岿然不动。
第五十九军苦撑至入夜，仍不见援军赶来，日军则源源增兵，攻势不减。少兵又临大敌，使四面阵地八方告急。张自忠把能抽调的预备队全部投入战斗，仍不敷应付。他使出浑身解数，持刀跃马，往来督战。鉴于第五十九军防守正面过宽，兵力分散，张自忠当机立断，下令收缩战线，于午夜转移至临沂西北的七得、前后十里铺、前后岗头、道沟之线占领新阵地，以同第四十军东、西呼应，拱卫临沂城。
日军第五师团被阻临沂之际，正是台儿庄方面第十师团吃紧待援之时，因此，对临沂久攻不克的板垣岂肯善罢甘休！29日一早，便又朝第五十九军这颗硬钉子碰来，韦家屯、亘后、岗头一线均炮火连天，敌兵如麻。守军虽是疲惫之旅，但复仇心切，其中仅东西钦宿之地，便几出几入，阵地不让敌人半分。战至中午，敌弃尸五六百具，仍无进展。随后，敌改变策略，将兵力转移集中，专攻前后岗头之一点。守军自午至酉坚忍苦撑，敌两度侵入均被击退。3月29日，张自忠在给李宗仁的电报中表示：“职军两日以来伤亡两千余人，连前此伤亡达万余人。
职一息尚存，决与敌奋战到底。”正当守军殊死苦战的时候，传来了援军已到的消息。这令疲惫已极的官兵精神大振，张自忠趁势发布命令：第五十九军全线出击。全体官兵又似下山猛虎、出水蛟龙般地朝敌扑去。敌也因连战疲乏，惶惧困惫，终于阵线动摇，力不能支，向东北方向逃遁而去。继而，张自忠作了全面反攻的部署。
正在张自忠紧张地筹划明晨的反攻行动时，不想战局发生了变化。因台儿庄方面濑谷支队战况吃紧，日军第二军司令官西尾寿造命令第五师团火速前往救援。于是板垣马上停止了对临沂的进攻，除留下两个步兵大队外，当夜便拉着主力（4个步兵大队，2个炮兵大队）开往西南。留下的两个大队也在我守军的追击下向汤头退去。
于是，二战临沂也因此而告一段落。此时，第五师团的任务除待机夺取临沂外，战斗重心已移向台儿庄方面。在台儿庄决战期间，张自忠第五十九军的任务主要就是扼守临沂，阻断日军的补给与增援。
第五战区作如此决断是符合当时的实际的，板垣在发给已经到达台儿庄地区的坂本支队的命令中说：支队迅速歼灭当面之敌后，应即攻下沂州。
在此之前，板垣一方面以一部兵力向我临沂守城部队频频发动攻势；另一方面通过汤头、义堂集、向城、兰陵一线向台儿庄输送辎重与援军。
此时，板垣正坐镇汤头，扼守义堂集、艾山一带，以保其交通线之安全。
而眼下张、庞守军均苦战月余，精疲力竭，既不得休整，又后援无继，再遇强敌，实乃心有余而力不足。故三战临沂的前期，我守军一面扼守临沂，一面取分路游击的形式，骚扰、破坏敌之交通线；后期得援军接济，则在朱陈、向城等地进行了规模较大的阻击战。
从4月2日起，日军就向我临沂阵地屡屡发起进攻。
2日晨，日军40余辆汽车满载敌兵到达汤头，午前10时，又有自蒙阴南下而来之敌约500人到达费县附近的上冶地区，其势似再度进犯临沂。张自忠闻讯后，立即命游击队前往截击，同时令主力部队严阵以待。
午后1时，战区司令部来电，令第五十九军以主力固守临沂附近原阵地，同时抽调部队，一路向临沂、沂水间，一路向蒙阴、费县间游击。张自忠遂令第三十八师派部赴临朐、沂水一带，第一八○师派部赴新泰、蒙阴一带伏击敌人。
3日下午，敌由沙埠庄向我阵地进犯，我守军防守反击，将敌击退，第三十八师乘势攻占文埠屯。
入夜，敌又调大部，分由化沂庄、乾沂庄向我阵地发起猛攻。张自忠也调集有力部队，由姜庄出击，激战两小时，敌不支退去。随后敌便对该村进行了报复性轰击，一时间烟焰弥漫，全村火毁。
4日，敌更集中炮火和装甲车多辆，掩护步兵四五百名，分由乾沂庄、化沂庄猛攻我角沂庄、砚台冷。我疲惫之师，苦苦坚持，终使敌不逞。
由于对我正面阵地屡攻不克，5日晨，敌转变了方向，向我阵地侧翼的房家庄发动攻击，并以大部围攻我古城、城前等村。此处我只有警戒部队，但守军不畏强敌，竭力抵抗，激战至午，房家庄所有民房悉被炸毁，我守军无所依据，敌即乘势冲入我阵地。同时古城、城前亦陷敌手。我守军被迫撤至西墩阵地。
日军在对我临沂阵地发动进攻的同时，还源源不断地由义堂集一带向台儿庄方面运送辎重和援军。为此，战区司令部于4月4日电告第五十九军，必须前往阻断敌之接济。这对张自忠来说，实在又是一桩难事。以残破之旅据守临沂就已经使他捉襟见肘，再担此任就更使他难顾东西，他着实感到十分为难。然而他毕竟久经沙场，对战区意图颇有领悟。此时台儿庄我军正准备与日军一决雌雄，敌接济之路能否阻断，将关系到台儿庄胜负及战局前途。因此，尽管兵员无多，他还是十分认真，当即调第一八○师一个团游击胡子峪，第三十八师一个团游击乔家湖。
5日晚，第三十八师游击队就在乔家湖遇敌辎重汽车百余辆及掩护部队200余人，当即给予迎头痛击，结果击毙敌人数十名，辎重车辆被我游击队焚毁六七十辆；第一八○师游击队在芦家湖一带将敌10余辆辎重汽车击毁焚烧。
此前一日（即4日）晚，接战区长官部通知：台儿庄之敌正向东北溃退。张自忠马上指令第一八○师主力前往堵截，其原防务交由第三十八师接替。
正当第五十九军左右开弓之时，日军突犯朱陈，于是又开始了一场旷日持久的朱陈争夺战。4月5日下午，由艾山方面开来的三四百名日军突然窜入朱陈，旋即全部占领。朱陈为临沂西南之重镇，朱陈若失便直接威胁临沂安全，所以一时颇为紧张。张自忠急忙调兵遣将，开赴朱陈；据守临沂城的庞炳勋也派出工兵营和学兵营前往迎击。至晚八九时，朱陈已被张、庞两军包围。6日清晨，双方枪炮之声络绎不绝，朱陈之敌尚欲突破我军包围，向距临沂城更近的湖南崖、湖西崖、王庄进击。激战竟日，上述各地均被我收复，敌无奈又退回朱陈寨内。
此时，由晋南开来的姚景川骑兵第十三旅到达临沂，张自忠除派一部向敌后方搜索，破坏交通、扰敌运输外，将其主力用于对付朱陈之敌。
8日，第九十二军第十三师吴良琛部也开到临沂战场归张自忠指挥。张自忠也将该部用于解决朱陈之敌。但日军也于同日派来增援部队，双方力量均得到加强，因而仍处于对峙状态。
9日，朱陈之敌企图向西南运动。张自忠令部队截击，激战后，敌仍缩回朱陈。
为彻底解决朱陈之敌，在此后的十来天内，张自忠对朱陈发动多次进攻，虽然使敌无法越雷池半步，但我疲劳之师也久攻未果。
朱陈之役激战犹酣之际，临（临沂）台（台儿庄）公路上的向城烽烟又起。
向城是日军后方补给线上的重镇。自3月底坂本支队南下台儿庄之后，日军一直派有守备队在这里驻守。4月3日，张自忠接到李宗仁“破坏敌之交通，截断敌之补给”的命令，即派部前往包围攻击，一度使敌陷于危殆。但4月11日，到达义堂集的日军第四十一联队派出林田支队（以第一大队为基干）向向城增援。于是向城战局又趋紧张。张自忠派骑兵第十三旅第一、三两团前往截击，与步炮联合之敌六七百人遭遇于薛南。一番厮杀后，敌招架不住，朝将相台、贾庄方向逃去。
但敌并不甘心，13日晨，以步兵500名，骑兵百余、重炮4门、三轮摩托车五六十辆的更大规模，由北面卷土重来，向大中村开进。张自忠又立即派骑兵第十三旅第二团赶赴大中村一带迎击敌人。该敌大有志在增援向城之势，接二连三地向我发起突击。激战中，双方都有相当伤亡。午后，我骑兵团终将大秦庄一带高地占领，将敌南下向城之路阻断。同时，第二十军团的骑兵团也将肖陵、东作一带高地、第七十七团高营将将相台一带高地占领，与大秦庄高地相拱卫。
14日晨，敌林田支队动用了所有火炮，向我阵地发动了更加猛烈的攻势。我截击部队严守阵地，分毫不让，战斗呈胶着状态，持续竟日，敌终因火力优势渐占上风，趁我截击部队不及抵抗之际，越过大中村，与向城之敌取得联系并给予了补给。在完成了增援补给任务之后，林田支队于次日以7辆装甲车开道，冲破我军对向城的包围，朝东北方向义堂集窜去。张自忠立即派骑兵第十三旅赶赴敌退路上截击，双方遭遇于芦家湖附近。第十三旅前堵后截，敌腹背受创，往北逃遁。第十三旅将敌10辆给养车俱焚毁。
战至4月中旬，整个战局已经发生了很大变化。台儿庄战役已经胜利结束，日军受挫后决心发动更大规模的战争。4月7日，日本大本营下达了攻击徐州的作战命令，企图将徐州地区的我军主力全部歼灭。作为徐州战役前的准备，华北日军又重新调整部署，集结部队，组织发动鲁南地区扫灭战。4月14日，第五师团的国崎第九旅团和长野第四十一联队、栗饭原第四十二联队都已经集结到义堂集地区，临时配属第十师团的坂本支队也由峄县西进，4月19日进入向城。临沂战场上呈现出严重敌强我弱的态势。
4月14日，板垣下达命令：国崎支队长应立即对沂州（即临沂）附近之敌开始行动，最迟到19日晨须占领并确保该地，然后准备向向城前进。
从16日开始，国崎支队对我临沂外围阵地发起攻击。张自忠率领第五十九军及所有援军浴血奋战，拼力抵抗。但敌攻势不减，援军不绝。阻敌3日后，终因连续苦战，孤军困斗，大岭、小岭、西钦宿、水电、林庄等阵地相继失守。19日上午10时30分，敌机用重磅炸弹炸塌了临沂西门的城墙，敌军由此缺口突入城内，使第四十军守北关部队受敌夹击，即撤入城，庞炳勋将守备沂河以东阵地的第二三三团调入城，由第一一七旅旅长李运通指挥以上两团及军属特务营。但各该部苦战两月，伤亡惨重，战斗力甚微，虽奋勇堵击，而竟被敌占城内北半部及北关西关，并迫攻东关向我守城部队包围。守城部队奋勇抵抗，巷战肉搏，激战中，计伤营长1人，阵亡连长3人及以下官兵600余，约占守城部队十分之六七。庞炳勋奉司令长官电话，令守城部队向城外撤退。夜间12时以后，全部守城部队皆由东门撤出。临沂终于在强敌攻击之下失守。
4月20日，第五十九军奉第五战区长官电令，以台潍公路为中心，分别对敌游击、截击；21日，第五战区续命第四十军开赴郯城整顿，第五十九军即转峰对口、黄店一带，对敌游击；22日，第五十九军复奉第五战区长官令，转向长城、四户镇方面，保持重点于右翼，夹击汤恩伯第二十军团当面之敌。接令后，各部分别向新防地转移。至此，持续近两月之久的临沂战役终告结束。
三战临沂虽然以临沂失守而告终结，但它的重大意义不可抹煞。此期间正值台儿庄决战，张、庞两军据守临沂，牵制了日军第五师团的兵力，阻截了日军的补给与增援，对于保证台儿庄决战的胜利，起了十分重要的作用。正如第五战区参谋长徐祖诒所说：临沂守军“前后支持50日之久，俾由台儿庄北上之我军不感侧背之威胁，完成包围敌于附近山地之企图，实徐州会战中最为重要之关键也”。