许兰生下决心守，并不是他多么无畏，实际上他是想向蒋介石献媚。好等国民党军主力打回来，弄个“开国功臣”。他也深知自己势单力薄，临沂难守。于是他与伪费县保安大队邵子厚商定，两部集中共同防守临沂城。为增强实力，两个人又与位于临沂以北、汪沟西南的伪军王洪久取得联系，商定3人协同守卫临沂。这样3股敌人总兵力已近5000人。部署是许兰生和邵子厚两部依托日军多年经营的临沂城坚固工事固守，王洪久率部防守建有筑垒工事的汪沟西工事。两点互为依托，相互策应。
白沙埠战役后，鲁中军区决定对临沂大沙河以北的王洪久部暂取守势，集中兵力收复临沂。
为迅速拔除山东区内敌伪军这个坚固的堡垒，山东军区决定以滨海第4团、鲁中第11团等部组成攻城集团。
8月15日，先期到达临沂的鲁中军区第2军分区第11团，在团长陈宏、政治委员董超的率领下，向临沂城发起攻击。工兵携带炸药，实施抵近爆破，以伤亡70人的代价，将城北门楼的3道古城门炸开了两道。正在部队进攻最后一道城门时，滨海军区2分区攻城指挥所赶来，命令11团撤出战斗，攻城任务由滨海军区2分区执行。
11团指战员眼巴巴望着已被打开的两道城门，无奈地撤出战斗。
不久，鲁中2分区司令员吴瑞林赶到，11团团长陈宏向他汇报了刚才攻城的情况，吴瑞林后来不无遗憾地写道：
我在攻克白沙埠后，向临沂城进发到11团团部时，才得知这一情况。两支兄弟部队在各自执行任务的具体作战行动中出现的这一小小的插曲，虽是由于战事变化急剧和山东军区新部署来不及下达所致，但终于丢失了一次不应丢的破城战机；否则，如两支兄弟部队协同破城，则结局就很有可能是另一个样子了。
8月17日，经过两天准备，滨海2分区决定改从临沂城南关发动进攻。战斗发起后，攻城部队利用美教会医院楼房这一制高点，组织火力掩护突击队登梯攀墙而入。虽然指战员打得异常英勇。并两次突上城墙，终因敌火力较猛，两次被击退，部队伤亡达300余人。攻城战斗受挫。罗荣桓得知这一情况后，非常焦急，急令军区参谋处长李作鹏为前线指挥。率山东军区特务团、教导团参加战斗。
18日，李作鹏来到滨海2分区指挥所在听取了攻城指挥所的汇报后，传达了罗荣桓的指示。之后决定，以山东军区特务团、原教导2旅4团和鲁中军区2分区11团3个团协同攻城。为确保攻城成功，李作鹏带领攻城部队团以上领导用两天时间勘察地形。之后，李作鹏召集担任攻城任务的3个团的营以上干部召开会议研究打法。
会议开始后，李作鹏简要地讲了这次会议的主要议程，之后请大家发言。多数人认为，攻城时间以夜间发起为好。爆破时间最好选在黄昏。
大家发言时，李作鹏没有插话，静静地听着，当大家把意见说完后，李作鹏站起来，宣布了他的攻城决定：“8月20日夜间3时攻城部队从东、西两面发起攻击，东面首攻，西面后攻。东西两面均由11团3营组织连续爆破，之后，攻城第一梯队特务团、4团3营和11团3营发起突击。其余部队为第二梯队。”
8月20日，经过短暂准备，攻城部队再次发起攻城战斗。虽然部队连续组织了4次爆破，终因城墙太厚，炸药包威力小，未获成功。
爆破失利，攻城部队仍于5时按时发起冲击，特务团、4团3营和11团3营两次架梯登城，均被守城之敌击退，被压在城墙外的护城河内。
至此，攻击临沂的战斗两次受挫。
6 吴瑞林突发奇想
罗荣桓了解到临沂攻城受挫的情况后，拿起电话，要通临沂前线鲁中2分区指挥所。
连续攻城受挫，指战员别提多窝火了，纷纷表示不拿下临沂城誓不收兵。这一天吴瑞林和几名团营干部正在研究情况，电话铃响了。吴瑞林起身接电话，对面传来罗荣桓的声音：“是2分区吗，攻城情况怎样了？”
“我是吴瑞林。”接着吴瑞林将攻城情况如实地汇报了一番。
随后，罗荣桓又让特务团团长程宗美、副团长黄团忠和4团3营营长姚克接电话，听取了他们的汇报。
罗荣桓沉吟片刻后对吴瑞林说：“城攻得不好，不要气馁，要准备再战。你们第一，要坚决围攻敌人，你们谁都不能离开战场半步，要掩护护城河里的2000余名指战员安全撤出；第二，部队士气受挫，要加以整顿，指挥要改变，各部要在鲁中2分区的指挥下统一思想，加强团结，协同作战；第三，要组织干部仔细察看地形和工事，发动广大指战员献计献策。”
罗荣桓一口气说完，之后对吴瑞林说：“你要尽快拿出方案报来，”说到这，罗荣桓停顿了一下，又问，“你们要多长时间才能攻下临沂城？”
吴瑞林略为思索一下说：“按现在的情况看，最快也要15天。”
“好，你要先拿出作战方案。同时要从思想上、战术上和物资上做好攻城的一切准备，愈快愈好呀！”
受领任务后，吴瑞林即带领4个团的团营干部再次察看地形，同时通过城内内线人员调查敌军。他们了解到，临沂城墙厚达12米，高15米，是用三合土筑成的。同时敌城墙上修筑了许多明碉暗堡，并调选了1000多名亡命徒组成“敢死队”。了解情况后，吴瑞林认为，在这种情况下，从外部用爆破的方法或架梯攀墙的方法是很难攻取的，甚至是不可能的。怎么办，难道城就真的攻不下来了吗？
大家远远地望着坚固的临沂城墙，犯起难来，有的搓着双手，有的急得直跺脚，愣是把脚踩的地方跺出一个小坑。这时不知是谁说了一句：“恨不得从地下钻进去消灭掉这帮坏蛋！”
这句话给了吴瑞林启发，第二天当他来到城西北角再次勘察地形时，突发奇想：“我们可以从地下钻进去打呀。”于是他把想法告诉大家，急得没有着落的团营干部们听到后顿时活跃起来。
吴瑞林接着说：“我们可以从这里挖坑道，一直挖到城墙底下，搞内部爆破，这里的城墙上又建有全城最大的炮楼，内部爆破不但可以炸开城墙，而且还可以将这个炮楼炸它个底朝天！这不就是从地下钻进去打吗？”
大家听后不住地点头。
吴瑞林接着把他的想法和盘托出：“以前我曾两次见过挖地道，但都没有成功，一是因为地下大量渗水，二是因为敌人援军赶到。现在这里的条件我看不错，土质适合于挖地道，采取内部爆破手段可能成功。但我们要先利用这里的一个小高地修个地堡，架起两挺重机枪和两挺轻机枪，掩护部队在护城河上架一座桥，到对岸再修几个小地堡，也架起机枪，然后在护城河边挖一小通道，在炮楼下仔细测量距离，查看土质，再决定从何处挖坑道。”
团营的干部听了司令员的详细计划后，兴奋之情溢于言表。最后决定由11团挖坑道。
23日，李作鹏召集攻城部队有关指挥员开会，研究下一步攻城方案。吴瑞林将自己的想法说了出来，刚好与滨海军区领导的想法不谋而合。于是会议初步确定了攻城的具体方案。会议结束时，李作鹏告诉大家，会后他即赴军区向罗荣桓汇报攻城情况和下一步攻城初步方案。
罗荣桓听取后，当即批准了这一方案。并让李作鹏尽快返回临沂前线，迅速攻下该城。
回到临沂前线后，李作鹏于8月29日召开作战会议，下达了战役命令。
自此，坑道作业全面展开了。在护城河两岸火力的掩护下，攻城各部队组织人力昼夜挖坑道。11团3营挖得很火，第一个白天就挖了15米。
吴瑞林经过计算，认为如昼夜不停地挖，300米长的坑道十一二天即可挖成，于是他报告罗荣桓，9月10日即可发起攻击。
罗荣桓当即批准，并指示吴瑞林：“要好好发挥参与攻城的几个团各自的特长，加以统一部署，务必夺取战役的胜利。”
为确保攻城成功，除先期参加攻城的4个团和1个警卫营外，又增调了周边3个军区的四五个独立团及县区武装，这样攻城兵力已近两万人。
7 攻坚战的最后胜利
经过10昼夜的苦干，一条310米的坑道终于挖成了。之后部队又用一天时间，将从山东军区和鲁中军区运来的1500公斤黑色炸药和150公斤黄色炸药安装好。
一切准备就绪，李作鹏将部署上报罗荣桓批准。
部署是：以原教导2旅4团担任第一突击部队，一部在城西北角实施突击，主力位于城南待机；以鲁中2分区11团和警卫营担任第二突击部队，主攻西北角，特务团配置在城东待机；其余部队为预备队。同时派王全珍率两个步兵连和两个民兵连负责运送弹药。鲁中2分区政治部主任孔繁彬负责救护伤员。
为便于靠前指挥，攻城部队将突击部队各团指挥所在距爆炸洞口约300米处开设。吴瑞林把鲁中2分区指挥所设在距突破口350米处。
10日夜，一阵震耳欲聋的爆炸声划破静寂的夜空。硝烟和尘埃散尽之后，120米长的大缺口裸露在指战员眼前，爆破成功了。
教导2旅4团1个营按计划率先向爆破口冲去，然而两次攻击均受阻。
“第二突击队的第一、二两个梯队上！”吴瑞林果断地下达了命令。
话音刚落，11团1营在营长彭玉龙率领下冲上西北角城墙，控制了西北角，之后，由突破口向东侧卷击。
警卫营营长董至相率该营1连紧随其后进入突破口，之后向突破口西侧卷击。突破得手后，为防止敌反击重新封闭突破口，吴瑞林命令担任第三梯队的11团3营迅速巩固突破口，第11团2营和教导2旅4团的1个营为预备队，随时准备加入战斗。
部署完毕，吴瑞林把指挥所转移到突破口西城墙上的一个用麻袋包临时搭起的掩体里，指挥纵深战斗。
尽管遭到敌拼命抵抗，部队仍进展迅速，当向两翼攻击的部队进至距北门和西门楼200米左右的距离时，吴瑞林令第三、四梯队和教导2旅4团的1个营，除以部分兵力巩固突破口外，主力加入纵深战斗。
西北角被突破后，敌军慌忙从东面和南面调集兵力，企图实施反击，恢复防御。见敌东、南两面兵力空虚，吴瑞林遂令特务团和教导2旅4团两个营从东、南两面架云梯攻城。两部登上城后，迅速向纵深挺进。
战斗进行得相当惨烈。这是较劲的时候绝不能后退，吴瑞林与团的指挥员商量后，决定将特别预备队投入交战。这支预备队由30名经过认真挑选的大汉组成，他们每人配有1把匣子枪、100发子弹和一柄7尺长带钩的长矛，用以专门对付敌四五尺长的关公式大刀，同时杀死敌人后还可以把敌尸体拖过来。就这样攻城部队与敌一个堡一个堡地争，一条街一条街地夺，经过十余个小时的枪战和肉搏，终于全歼皇协军主力敢死队，并包围了北门城楼和西门城楼。城楼上的敌军见大势已去，纷纷缴械投降。
与此同时，11团3营攻占了城内天主教堂。至此4个城门均为攻城部队控制，胜利在即，吴瑞林接通电话，向罗荣桓汇报了攻城进展情况。
“好啊，打得好呵，祝贺全体攻城指战员同志们取得的胜利，祝他们继续奋勇前进，彻底消灭一切顽抗的敌人！”罗荣桓高兴地说。之后罗荣桓又严肃地说，“同时，所有攻城部队都不得伤害城内人民，不允许对城内商店和资本家有任何侵犯行为，违者要按纪律论处！”
放下电话后，吴瑞林命令道：“立即把罗司令员的命令传达到每一个指战员。”
5路大军攻入城后，经过十余个小时的激战，于9月11日全歼守敌。活捉汉奸许兰生和邵子厚。临沂城解放了。
战后，攻城部队举行了盛大的入城式。鸣礼炮10响。
至此历时近一个月的临沂战斗胜利结束，为了这一胜利，英勇的八路军付出了3000人的伤亡代价。
临沂解放后不久，山东分局、山东省政府和山东军区指挥机关于8月20日进城，后来华中局和新四军军部也进驻该城。
临沂成为中国共产党和人民军队在山东乃至华中地区的指挥中心。
8 盘点
经过一个多月的大反攻，山东5路大军共解放县城46座，攻克烟台、威海等6个重要港口，占领火车站35处，歼灭了据守这些地方负隅顽抗的日伪军6万余人，切断了津浦、胶济、陇海3条铁路，使济南、青岛、徐州、连云港像孤岛一样处于解放区汪洋大海的包围之中。
山东大反攻的胜利，直接增加了共产党在国共谈判中的地位。1945年9月15日，周恩来在重庆同国民党代表谈判时指出：“山东解放区迄今收复80余县，均已实行民选县长，治理民政，只等中央承认加委……”19日，周恩来又提出山东应作为由中共方面推荐省长的四省之一。
山东，战略地位十分重要。向北，它是进军东北的出发阵地；向南，它是支持华中的可靠后方。八路军控制了这一战略基地，大大加强了中国共产党在战后的地位，无论前途是战还是和，都创造了十分有利的条件。