黄埔军校是孙中山为了实现他的北伐计划、争取苏联援助而创办起来的。他在苏联和中国共产党的帮助下，懂得了建立革命军队的重要，接受了苏联顾问的建议，创办军事学校。1923年11月26日，国民党临时中央执行委员会决定设立国民军军官学校。
至于黄埔军校校长人选问题，曾几度变化，孙中山起初打算自己人担任校长，学校快成立的时候，又改派程潜当校长，副校长由蒋介石、李济深担任。那个时候，蒋介石无论在国民党内还是在军队内，都属晚辈，而程潜则是老同盟会会员，又是军界前辈，按理来说，孙中山委派蒋介石担任副校长，也算是器重他了。但是，蒋介石不愿位居程潜之下，对副校长这一职务感到不满。从蒋介石后来的经历来看，黄埔军校这段时间毫无疑问是他一生当中至关重要的时期。他凭借黄埔军校校长的职务，在苏联顾问和中国共产党的帮助下，逐步积聚了自己的势力，并依靠这一势力最终夺得了国民党的最高权力。然而，他开始并没有意识到这一点，竟然跑回上海。
实际上，孙中山并没有担任黄埔军校校长，最终还是把这一职务交给了蒋介石。按理说，除孙中山之外，最有资格担任黄埔军校校长的人应该是许崇智，他比蒋介石早两年参加同盟会，晚清时就当上了清军的协统。黄埔军校创办时他是粤军总司令。正是许崇智的粤军赶走了陈炯明，孙中山才得以在广州立住脚。况且，许崇智又是国民党候补中央监察委员。
孙中山为什么会选择蒋介石？据周恩来分析，蒋介石与孙中山的接近是因为陈其美的关系。孙中山创建中华革命党的时候，要求每一位参加者必须在誓言上按手印，许多士家出身的人包括胡汉民、汪精卫都不愿意，黄克强更是表示反对。陈其美第一个宣誓并按了手印，因而得到孙中山的信任。蒋介石是陈其美的弟子，所以接近了孙中山。其次，就是在永丰舰的事情上蒋介石投了一个机。1922年陈炯明炮轰总统府，孙中山在永丰舰上同陈炯明相持了50多天。蒋介石特意从上海跑到永丰舰上表示要同孙中山共存亡。从此，蒋介石同孙中山的关系密切起来。
蒋介石常常以这件事作为他是孙中山忠实信徒的资本。曾在广州担任军事顾问的切列潘诺夫也回忆说，蒋介石本是一个“没有原则的贪图个人名利的钻营家，却偏要炫耀自己的革命性，到处宣扬自己对孙中山思想的忠诚，终于靠厚颜无耻的蛊惑宣传骗取了孙中山的信任”。
另外，蒋介石的莫斯科之行，也帮了他的大忙。在孙中山同苏联建立友好关系之后，蒋介石巧妙地利用这一机会“捞取了一笔政治资本”，他答应“赴苏研究军事”。蒋介石在莫斯科会见了联共（布）和共产国际领导人，参观了苏联红军，是国民党军官当中真正了解苏联红军情况的人。此行的结果，“加上在国民党内的关系，使蒋介石担任了颇为有利可图的黄埔军校校长的职务”。
由此看来，蒋介石的个人经历使他成为黄埔军校校长最合适的人选。“人们不得不承认他在当时是国民党非常需要的人才：受过军事训练，有军事经验，并且不是军阀；他没有自己的军队；他接近孙中山”，在国民党里，“这样的背景唯他独有”。因此，孙中山、廖仲恺、胡汉民，不厌其烦地催促蒋介石返回广州，出任黄埔军校校长。
在国民党内，中央执行委员张静江、戴季陶都在为蒋介石撑腰，张静江还专门从上海跑到广州，找到孙中山替蒋介石说情。另外一位执行委员李烈钧也竭力向孙中山推荐蒋介石，说“校长一职，非蒋莫属”。
这里需要指出的是，蒋介石担任黄埔军校校长无疑得到了鲍罗廷的大力支持。作为孙中山的顾问，鲍罗廷深得孙中山的信任。据汪精卫说，“鲍先生赞扬总理，总理很采纳他的意见”。可以想象，如果没有鲍罗廷的支持，蒋介石也不会轻而易举地当上黄埔军校的校长。
实际上，鲍罗廷也很看重蒋介石，似乎没有蒋介石的参与，很多事情就办不成。这从廖仲恺三番五次地催促蒋介石返回广州就可以看出。蒋介石从苏联回国后迟迟不肯露面，而黄埔军校又筹办在即，鲍罗廷急盼着蒋介石回到广州。1923年11月29日，廖仲恺、鲍罗廷前往上海推行国民党改组工作。12月20日，廖仲恺从上海致电蒋介石：“鲍君有事与商，学校急得开办。无论如何，乞即买舟来沪，同伴南行为荷。”
两天之后，廖仲恺、汪精卫、胡汉民致信蒋介石：“鲍先生及弟等待商之事甚多……鲍先生事，尤关重要，彼每见弟等，必问兄来未。”12月26日，3人再次联名致信催促蒋介石，并且表达了鲍罗廷的急迫心情。信中说：“鲍先生日盼兄至，有如望岁，兄若不来，必致失望。”
1924年1月16日，在廖仲恺等人的一再催促下，蒋介石姗姗地从奉化老家返回到广州。此时，正值国民党第一次全国代表大会召开之际。在大会闭幕的当天，廖仲恺委托出席大会的代表回各省为黄埔军校招收学生。1月24日，孙中山组织成立“陆军军官学校筹备委员会”，任命蒋介石为筹备委员会委员长，委派廖仲恺、邓演达、叶剑英等组织军校筹备委员会。1月28日，孙中山指定广州黄埔岛为军官学校校址。
2月6日，在广州南堤二号设立了黄埔军校筹备处。黄埔岛又名长洲岛，位于广州东郊、珠江南岸，距市区约四十华里，面积为六平方公里。岛上山峦起伏，四面环水。该岛距虎门百数十里，是从海上通向广州的要冲。北为渔珠炮台，东为沙路炮台，西接琶洲岛直达广州，地形十分险要，历来为军事要地。1685年，清政府在此设立广东海关黄埔分关。鸦片战争期间，林则徐在岛上增修长洲炮台、渔珠炮台。第二次鸦片战争后，又新修蝴蝶留、白鸽岗等五所炮台，安装15门洋炮。清末民初，长洲要塞司令部成立。1885年，清政府先后在海关与船坞附近兴建校舍，筹备广东水师学堂、广东武备学堂和广东陆军中学堂。1905年，以广东陆军中学堂旧址成立了广东陆军小学堂。几经风雨，到了20年代，这些学校只剩下一些校舍。孙中山以黄埔岛四面环水，与城市隔绝，决定利用这些校舍创办一所军校，命名为“中国国民党陆军军官学校”。因其设在黄埔岛，故称“黄埔军校”。
黄埔军校初创时期困难重重，尤其是资金短缺，已经“五易长官也都束手无策”。蒋介石确信，在这样的恶劣环境下不会搞出什么名堂来。结果，军校创办不过10天，在未经孙中山和廖仲恺许可的情况下，蒋介石擅自宣布解散黄埔军校筹备处，声称要给每个人发放路费。他竟以“环境恶劣，办事多遭肘”为由，向孙中山提出辞呈。
关于蒋介石再次离开广州的原因，当事人和研究者有几种说法。第一种说法是蒋介石害怕共产党人的威望，“觉得军校校长这个职位是给他设下的圈套”。第二种说法是蒋介石“惯常的胆怯”。他担心，在广州的军阀，包括滇系军阀，均不赞成创办黄埔军校，因而会解散军校学生的武装，最后找他算账。吴铁城曾当着鲍罗廷的面说蒋介石是一个胆小鬼，一有风吹草动就想逃跑，躲到一个安全的地方。“这次他逃跑了，下次他还照样逃跑。不能依靠他”。第三种说法是蒋介石觉得他为黄埔军校提出的财政需求没有引起注意。于是，“郁郁不乐的蒋介石返回上海，以泄私怨”。第四种说法是蒋介石批评苏联人的建议没有被孙中山接受。还有一种说法是，蒋介石在1月中旬回到广州时，正赶上国民党第一次全国代表大会召开。他不是大会代表，“这件事也许损害了他的名利欲望”。虽然蒋介石被指定为黄埔军校筹备委员会负责人，但他在广州呆的时间越长，就“越能看出他不在孙中山的核心人物的圈子里”。汪精卫、胡汉民、廖仲恺、许崇智的地位都在他之上。因此，他感到不满。
对于尚处在筹建阶段的黄埔军校，蒋介石显然没有意识到这对他本人来说将是一笔可观的财富，而且，他也想象不出黄埔军校日后的发展盛况。否则，作为一个贪图个人名利的钻营家，蒋介石是绝对不会轻易放弃这个机会的。
筹备处的人大都是蒋介石邀请来的，一听说黄埔军校要解散，都想散伙。廖仲恺得知后明确表示：办黄埔军校是共产党要办的，而且一定要办成。“如果党要办，蒋先生不要办，或因此办不成，蒋先生要开罪于全党，将来他如果想回来再参加革命，怕也很困难了。所以筹备工作要照常进行”。
孙中山对创办黄埔军校更是寄予了很大希望，他试图按照苏联红军的模式建立一支新型的军队，然后完成他的北伐大计。所以，他不会批准蒋介石的辞呈。蒋介石离开广州之后，孙中山让廖仲恺接任黄埔军校筹备委员长一职。廖仲恺一面抓紧筹备工作，一面电告蒋介石：“党事讵可因兄而败，已代告假半月。来沪之军官学生，请即将近考验，事竣即归。”
大约就在这个时候，应邀来黄埔军校的第一批苏联军事顾问抵达广州，包括捷列沙托夫、切列潘诺夫、格尔曼、波里亚克。他们于1月下旬拜会了孙中山。在礼节性的问好之后，孙中山和盘托出了他创办黄埔军校的意图。他说，中国人民最恶毒、最强大的敌人是帝国主义，他们豢养着中国的军阀，如果我们把帝国主义赶出中国，那么，我们就不必费多大的力气，就可以打倒国内的敌人。因此，“我们的首要任务是按照苏联式样建立一支军队，准备好北伐的根据地”。他当即表示“：在现今的革命斗争中，十分需要学习俄国人。”他希望苏联军事顾问把本国反对帝国主义武装干涉、并把他们赶出去的丰富经验传授给黄埔军校的学生。
2月29日，孙中山亲自致电蒋介石，希望他立即返回广州，切勿延误。此后，廖仲恺又连续七次电告蒋介石。在3月24日的电报中，廖仲恺劝告蒋介石，为避免使孙中山受到“精神上痛苦”，请“即行”。在孙中山、廖仲恺的反复催促下，4月26日，蒋介石回到广州，并于当天在黄埔军校发表训话。他说，黄埔军校是国民党培植干部，扩展本党势力的地方，将努力实行三民主义，使中国成为一个真正的独立国家，使中国的民族成为一个真正的自由民族。
5月3日，孙中山任命蒋介石为黄埔军校校长。
（三）苏联顾问眼中的蒋校长
1924年3月27日，举行入学考试，考场设在广东高等师范学校。