1923年2月,孙中山再回广州重建大元帅府。这时,广东革命形势迅猛发展,迫切要求建立一支可靠的革命武装力量。而早在1921年12月,共产国际代表马林会见孙中山时,就孙中山、宋庆龄在阅兵台上。向他建议“创立军官学校,建立革命军的基础”。鉴于过去长期依靠旧军队进行革命而屡遭失败的痛苦教训,孙中山在筹划改组国民党的同时,也积极酝酿创立一所军官学校。
1924年5月,在苏联和中国共产党的帮助下,孙中山在广州黄埔港附近的长洲岛上,创办了“中国国民党陆军军官学校”,简称黄埔军校。