广州起义失败了！聂荣臻没有走。他隐蔽在自己的住所里。被屠杀的起义志士、群众达5700多人。聂荣臻机警而遇事不慌。他的四川口音很重，一张口就会暴露。12日夜间，他回住所时，曾被搜身，就是不讲话。商团将他随身带的钢笔等物都抢走了。他回到租用的房屋外边，也不敢叫门，因为半夜叫门会引起怀疑，就在门外直等到天亮才上楼。3天后，看看情况松了一点，他才搭船赴香港。到香港以后，聂荣臻仍在广东省军委工作，收容并妥善安置了一批来港同志，组织东江的游击战争和派人到张发奎部队做兵运工作，指导两广各地的军事斗争和训练干部。
12月下旬，省委叫聂荣臻去韶关地区通知朱德：广州起义已经失败，不要向广州靠拢。此时，朱德、陈毅率领南昌起义部队余部，几经辗转，驻在韶关，原定是要参加广州起义的。聂荣臻赶到韶关时，朱德已率部转移。他在后面追了几个小时，没有赶上。后来，聂荣臻回到香港，向省委作了汇报。
广州起义失败后，叶剑英暂时隐蔽在沙面租界。第三天拂晓，他在党的地下交通员、广九铁路职工李运全的掩护下，装扮成铁路工人，从沙面搭省港航班前往香港。叶剑英在香港，由于上了反动派的“黑名单”，随时都有遭到逮捕的危险，因此经常变换住址。他先在九龙油麻地，后又搬到香港新界居住。过了一段时间，叶剑英和隐蔽在香港的聂荣臻、恽代英等陆续接上了头。12月下旬，他被通知到坚尼城（西环）羲金台23号四楼广东省委秘密机关，出席中共广东省委会议。当时，在一起开会的还有聂荣臻、恽代英、陆定一、黄甦等。聂荣臻在回忆这段历史时说：“在香港，剑英买了一部太平天国的野史，推荐给我看。我们一边议论太平天国革命失败的惨痛历史，一边总结南昌起义、广州起义成败的经验教训，越谈越投机，有时竟废寝忘食。在香港的交往，使我感到剑英精明强干，才华出众，分析问题精辟，对同志热情诚恳。从此，彼此视为莫逆之交。”聂、叶当时深感广州起义后起义军没有和农军联合起来建立根据地，是个大失误。他们曾向省委提了这方面的意见，可惜未被采纳。聂荣臻与叶剑英对于如何发挥教导团这支力量的作用问题曾进行过商讨，他们都认为这1200多人全部训练有素，不应这里敲一下，那里敲一下，把他们当士兵用，应该把教导团这支力量向朱德、毛泽东在井冈山的部队靠拢，支援井冈山的斗争。他们提出了建议，但是李立三和一些省委委员不同意。教导团在东江和海陆丰的斗争中遭到很大的牺牲。后来，聂荣臻到中央苏区，见到毛泽东，怀着十分惋惜的心情谈起这支部队，谈起当时的建议，毛泽东听后觉得有道理，说“：真是太可惜了，那时我们正缺少基层干部，写信向中央要，中央也派不出人来，如果这一千多人能到井冈山来，那可解决大问题了。”
叶剑英在香港“隐居”期间，除了读书、秘密访友之外，还尽自己最大努力，做一些有利于党的工作。一天，一个叫陆久之的人，通过迂回曲折的关系找到大埔堤叶剑英的住处，请求帮助。陆久之原是上海总工会秘书处工作人员，曾在周恩来、赵世炎、罗亦农、汪寿华等的直接领导下工作。“四一二”反革命政变后，陆暂避香港。叶剑英十分同情并支持他，让他寄宿在自己的住处。后来，叶剑英通过关系介绍陆回到上海，继续从事有益革命的工作。陆曾组织轮船招商局海员工会，酝酿发动罢工，未能成功。抗战胜利以后，陆久之同蒋介石与陈洁如所领养的女儿蒋瑶光结合，成为蒋介石的女婿。叶剑英在香港期间，还接济和保护了一些进步的同学和战友，秦元邦就是一个。秦是叶的同乡，也是梅县东山中学的学友，中共党员。他参加了南昌起义，随起义部队南下失败后只身到达香港，贫病交加，生活无着。一天，叶剑英在九龙码头上与秦元邦巧遇，得知他的困境，即邀他到九龙大埔堤家中暂住。此时，秦元邦正周身生疮。叶剑英尽管住处不宽敞，生活拮据，且不便在公共场所露面，还是想方设法为他求医治病。20多天以后，秦元邦身上的疮被治好了。叶剑英又派人秘密将他送回广东梅县老家，使他继续参加革命斗争。在香港期间，叶剑英还与中共香港九龙区委负责人梁广以及地下党员柯麟、柯平兄弟等取得联系，进行秘密活动。
广州起义失败后，叶挺也到了香港，并迅速和党组织建立了联系。当时，广州起义的消息已震惊全世界，许多香港报刊也发表文章，称颂这场伟大的起义。叶挺感到由衷的欣慰。但他没想到，在党的内部，迎接他的不是鲜花，而是批判。由于广州起义较为短暂，又损失较大，很多人都要求追究责任，结果叶挺受到不公正的处理，情绪一度十分低落。
1928年春，叶挺接到党的通知，要他去苏联休养，同时讨论广州起义的问题。这个消息自然给苦闷中的叶挺带来了新的希望。他立刻假道日本，前往苏联。1928年6月，中国共产党在莫斯科召开第六次全国代表大会，会议虽充分肯定了广州起义的伟大意义，却没有给叶挺平反。与此同时，共产国际东方部的领导人米夫听信了王明的谗言，对叶挺产生了偏见。于是，叶挺离开了莫斯科，开始了流亡西欧的生涯。对于此事，周恩来后来作了客观的评价：“广州起义失败后，叶挺到了莫斯科，共产国际代表还说他政治动摇。共产国际没有人理他，东方大学请他作报告，共产国际也不允许他去。这样，他就离开党跑到德国去了。这件事我们应该给叶挺申冤。”
离开苏联后，叶挺在德国和法国度过了5年时间。1928年秋，叶挺到了德国首都柏林。他很早就想到德国学习军事。早在1916年，还在保定军校学习的叶挺就选修了德文，准备将来到德国学习。12年后，他虽然如愿来到德国，但此时的叶挺却没有了当年的豪情壮志。
他甚至打算放弃自己的军事政治生涯，专心搞德文翻译。他还参加过德国一个提倡吃素的流派，专心吃起素来。
初到德国时，叶挺的生活很困难，除了靠翻译德文，他还到处找些零工做，以贴补家用。在那段日子里，他卖过青菜、水果，帮人摘过果子，还在柏林等地开过小吃店，主要卖油条、烧饼和粥。顾客多是住在附近的华工，但谁也不知道他就是大名鼎鼎的北伐名将。后来利用赚到的钱接济一些贫困的中国留学生和年老多病的华工，自己也买了一些德文书籍，其中光百科全书就有几十本。在此期间，他还曾到法国短暂生活过一段时间。
1930年春，周恩来来到柏林，发现叶挺对革命失去了信心，与叶挺进行了促膝长谈，告诉他干革命不能考虑自我。周恩来的话对叶挺启发很大，旅居德国的廖承志等人也不断鼓励叶挺。1928年底，叶挺接待了一位老朋友、广州起义领导人之一黄平。黄平在广州起义后受的打击最大，处分也最重，但黄平却没有丧失对革命的信心，这使得叶挺的思想再一次受到触动。
在朋友们的帮助下，叶挺逐渐摆脱了失落的情绪，他认识到，革命不是一蹴而就的，个人的荣辱同整个革命事业相比算不了什么。此时，中国国内的革命形势也在向好的方向发展。毛泽东在井冈山创立了第一个农村革命根据地后，星星之火逐渐向全国扩展。中国革命的前景振奋了叶挺，使他重新燃起了希望。他决定多学些本领，为回国重新参加革命作准备。
当时，德国陆军被称为世界最强大的陆军，为了研究德国军队，叶挺经常到图书馆等处翻阅报刊资料。他潜心钻研军事，希望回国后能派上用场。鉴于广州起义失败的教训，叶挺重点研究了军事工程学和军事化学，他不断做爆破试验，经常把家里弄得一团糟。叶挺对军事的刻苦钻研引起了德国人的敬佩。一位德国军事家还送给他一根特殊手杖以示鼓励，这根手杖可以当做长剑和手枪使用，深得叶挺喜爱。