在这种紧迫的形势下，起义军总指挥部召集紧急会议，分析形势，讨论下一步行动方案。会上，大家对暴动第一天的行动作了总结。一致认为，起义军利用突然袭击，很快攻下了敌人几十个据点，俘敌2000余人，缴获了包括一些重型大炮在内的大量武器，成立了苏维埃政府，取得了武装反抗国民党反动统治的初步胜利。大多数同志被初步取得的胜利冲昏了头脑，对未来的形势作了相当乐观的估计。他们认为，广州的工人有很高的战斗热情，而海陆丰和全省工农的斗争正在高涨，加上粤桂军阀内斗的格局不可逆转，广州暴动必将得到各地工农的响应，广州苏维埃政权将得到巩固。叶挺就局势的严重性谈了自己的看法：“无论是自己分析，还是情报显示，魁首张发奎、朱晖日出逃，必将率军反扑，加上帝国主义的支持，很可能对我构成包围之势。我军经过一天的苦战，已经歼灭了大量敌人，但自己损失也很大，目前已转为守势。形势对我们越来越不利，我们切不可麻痹大意，更不可盲目乐观，而应该当机立断……”叶挺提出了深思熟虑的建议：“为了避免四面受敌，保存革命力量，待机破敌，我们不应再在广州坚持。趁敌人援军未到，用缴获的武器尽快武装参加暴动的工人，扩大队伍，并将队伍拉向海陆丰，在农村坚持革命斗争。”叶剑英、聂荣臻、黄锦辉表达了与叶挺一致的意见。他们一致认为，坚守广州不但没有出路，而且可能将革命的工人、农民和士兵置于危险的境地。而放弃广州，转到乡下去，可以避开敌人的锋芒，保住实力，保卫已经取得的胜利果实。但是，诺伊曼等人激烈反对这种意见，并大声训斥叶挺等“动摇”，想当“土匪”。诺伊曼主张“进攻，进攻，再进攻”。经过反复争论，最后决定以教导团为基础，迅速扩建军队，把工人赤卫队和教导团编成三个师；打通与海陆丰的联络道路，组织农民队伍前来增援，打击敌人援兵；对尚未攻下的残余据点，采取军事打击与政治攻势相结合的办法，迅速予以解决等等。可惜，由于敌人来势凶猛，这些决定和措施，没有来得及贯彻实施。
12月12日晨，各国驻粤领事举行联席会议，决定派陆战队登岸，驻守沙面。原来欲图保存实力、按兵不动的李福林部，向江北市区发起进攻。起义军在叶挺、叶剑英、聂荣臻、杨殷等分头指挥下，在长堤一带四次击退了强行渡江的敌军。战斗中，叶剑英冒着枪林弹雨，拿着驳壳枪，在长堤第一线巡视布防，指挥战斗，还利用战斗空隙去探视伤员，巡查俘虏。12日中午，敌军攻占了广州制高点观音山的一些山头，有小股敌兵冲下山向吉祥路前进，使苏维埃政府所在地受到威胁。叶挺和叶剑英命令教导团团长李云鹏带领队伍夺回了被敌军占领的一部分观音山阵地。不久敌人后续部队上来，又重新向观音山阵地反扑，观音山再度告急！这时，叶剑英立即派红军指挥部副官陈赓，率领部队前去增援。适逢徐向前率工人赤卫队亦奉命去增援，起义军经过猛烈冲杀，粉碎了敌人多次反扑，守住了观音山阵地。陈赓在起义后的报告中写道：“当时负指挥之责者叶挺为红军总指挥，叶剑英为副总指挥。……12日午12时，李福林军约一团由观音山来攻我军，赓奉叶剑英命率队前往观音山与敌抗战。
赓亲督队与敌奋战，约数小时将敌纷纷击溃，并缴得军械甚多。”敌军又一批援兵到来，向观音山阵地发起了新的反扑。12日下午4时，教导团第三营第十连连长邱维达奉命来到总指挥部。叶剑英指着广州市地图问邱“：你知道观音山这个据点的重要性吗？”邱维达回答说：“这是控制全城的制高点，决不能丢失。”叶剑英当即命令：“你火速带全连跑步前往观音山，支持陈赓部的战斗，坚决守住观音山！”观音山，又名越秀山，雄踞在广州市北郊，既是从北面进入市区的咽喉要塞，又是俯瞰全城的制高点。在它的山脊上有一道古老的城墙，顺着城墙往上，有一座高28米的镇海楼，俗称“五层楼”，为明代抗击倭寇而建造，上有清代人所撰的对联：“千万劫，危楼尚存，问谁摘斗摩霄，目空今古；五百年，故侯安在，使我倚栏看剑，泪洒英雄。”而今，饱经沧桑的镇海楼已是一派破败之象，城墙也已倾倒颓废了。但在观音山，镇海楼却又一次见证了“摘斗摩霄”、“泪洒英雄”的壮举。邱维达率领的援军到达后，观音山虽然一时守住了，但从其他方向进攻的敌人又猛压过来。珠江南岸敌人在帝国主义军舰的掩护下，再次强渡珠江，进犯江北市区。叶剑英即调教导团第一、三营在永汉路布防，迎头痛击来犯之敌。但是由于敌众我寡，起义军兵力不济，部分阵地被敌占领。
这时，刚刚从西瓜园广场主持群众大会后返回总指挥部的张太雷，听到一股敌军正向起义总指挥部扑来的报告，急忙乘车赴大北门指挥部队阻击，他走到大北街附近，遭敌伏击，中弹牺牲。张太雷临终前，曾谆谆叮嘱战友：希望同志们再接再厉，英勇斗争，完成党交给的任务！并语重心长地说：为革命而死，虽死犹生，革命道路是曲折的，但共产主义一定能实现！张太雷牺牲后，瞿秋白在《布尔塞维克》上发表《悼张太雷同志》一文，文章说：“张太雷同志死在几万暴动的广州工农兵群众与反革命军阀搏战之中，死在领导工农兵暴动的时候。他死时，觉着对于中国工农民众的努力和负责；他死时，还是希望自己的鲜血，将要是中国苏维埃革命胜利之渊泉！”
12日黄昏，聂荣臻和叶挺登上财政厅大楼，从这里可以俯瞰广州城。他们纵目瞭望，珠江被夕阳斜晖染得血一样红，空中的淡淡硝烟映着残照。他们的目光落到了广州城制高点观音山上。那是至关重要的阵地，它控制着大半个广州。观音山自清晨就开始了反复的争夺战。敌人拼命进攻，黄昏前重又夺取了观音山。现在，敌人正从山上向山下运动，眼看着阵地要全部丢失。聂荣臻问：“怎么办？”叶挺站在那里，一动不动地注视着敌人，没有吭声。
形势越来越严重，聂荣臻回到总指挥部，迎头遇到恽代英、陈郁。聂荣臻对他们说：“形势不对啊！我们要撤退。你们先走。我来下命令撤退！”聂荣臻勇敢地担起组织撤退的重任。他和黄锦辉研究确定，黄锦辉懂广东话，去通知工人赤卫队，他去通知教导团，向花县方向撤退。叶剑英领导教导团，聂荣臻没能找到叶，找到了团长李云鹏。他对李云鹏说：“形势不好，马上集合，撤退！”教导团训练有素，在黄昏后便撤离广州，1200人按建制向花县移动。他们与跟着退到花县的零星人员编成1个师开往海陆丰。可是，要使工人赤卫队撤出战斗就不那么容易了。工人赤卫队分散在各区作战，难以通知，更难集结。他们没有教导团那种军事素质，在与敌人巷战中，受到很大损失。到13日还在响着他们抵抗的枪声。
为了掩护撤退，总指挥部一直坚持到最后才转移。守卫总指挥部的卫队是有功绩的。这个卫队是崔庸健领导的，一部分是黄埔军校的朝鲜学员，一部分是中山大学的朝鲜学生。他们仍用米袋子做成工事，在里面架起机枪。前面是一条横街，过街是民房，敌人很容易接近。他们一次又一次地打退敌人的冲锋。在最紧张的时刻，聂荣臻钻进工事，和朝鲜同志一起战斗，吸引了敌人，掩护了起义军主力撤退。
接到撤退命令后，邓发立刻对各队作了周密布置，然后指挥着赤卫队员且战且退，沿着大德路、中华路四牌楼一线节节转移。由于他一路上力劝那些未能接到命令仍在坚持战斗的队伍赶快撤退，导致自己被追击而至的敌人死死地咬住，身边的赤卫队员也越来越少，最后仅剩下两人。邓发主动承担了掩护任务，凭着他的机警勇敢，最终在自己的四叔公邓北水家里躲过了搜捕。
当时仍在阵地上指挥战斗的叶剑英，未接到撤退的命令。黄昏后，他几经周折，找到司机罗炳等，要他们开汽车去东江联络彭湃的农军前来广州增援，罗炳等驾车冲出市区后，因在途中病倒，没有达到目的。对于当晚最后撤离的情景，叶剑英回忆说：“那一天晚间，当我从长堤巡视回来到苏维埃政府所在地时，一个人影都没有了。我上楼一看，财务部长的办公桌上放满了五十元、一百元的票子。我看了一下，又到楼上、楼下都找了一遍，见不到一个人。我当时没有想到把那些钱拿起来，将来交给党，白白丢在那里了。”这一天夜里，起义军主力从市区撤出，在黄花岗集中后，经太和圩向花县撤退。敌军以比起义军多十数倍的兵力向广州围攻。13日上午，来不及撤退的部分起义队伍和工人赤卫队，坚守街垒，与敌人展开肉搏战。由于敌我力量悬殊，敌军陆续抢占了市内主要据点。13日下午，广州全城被敌军占领。被喻为“广州巴黎公社”的这次起义失败了。
广州起义同南昌起义、秋收起义联系在一起，成为中国共产党独立地领导革命战争和创造人民军队的伟大开端。它是中国城市工农兵武装夺取政权的伟大尝试，在中国革命史上谱写了光辉的篇章。