中国代表团在苏联期间，孙中山时刻关注着他们的行动和进程，随时与他们用电报保持联络，当得知中国代表团在苏联进展顺利时，孙中山非常高兴。由于叛军沈鸿英对广州的进攻，孙中山只得放慢了创建军校的计划，同时还忙里偷闲地给中国代表团去信去电报，要他们在苏联好好地学习人家的长处，不要急着回来。到了年底10月份的时候，孙中山一面忙于筹备中国国民党的第一次全国代表大会，一面还不忘记创建军校的事情，向临时组建的国民党中央执行委员会提交了创建军事学校的提案，这一提案经秘书人员具体化为“设陆军讲武学堂于广州”，临时中央执行委员会很快就批准了这一方案。并且决定将新成立的军事学校命名为“国民军官学校”，由孙中山亲自任校长。
在任命军校校长的问题上，孙中山早已胸有成竹，他暂时对由谁来当校长的问题不予表态，只是在最后将国民军官学校改为“中国国民党陆军军官学校”，指定由廖仲恺和正在广州帮助孙中山工作的苏联人鲍罗廷两人共同筹划开办学校的具体事宜。在国民党的全国第一次代表大会期间，孙中山亲自选定了一个军校筹备委员会的人员名单，由蒋介石任筹备委员会的委员长，由王柏龄、李济深、沈应时、林振雄、俞飞鹏、宋荣昌、张家瑞等人为筹备委员会的委员。
在军校的校址选择上，孙中山早已看好了一个绝妙的地方，它就是黄埔。黄埔是一个水中的孤岛，离广州还有四十里的水路，小岛方圆有四十里的面积，岛上林木葱茏，山峦起伏。岛上有长洲炮台，南边与虎门炮台相连接，是广州对外的第二个要塞。黄埔岛四面环水，远离城市，是个开办军事学校的好地方。再说，过去岛上也还办过广东陆军学校和海军学校，有一些基本的建筑可供使用，孙中山便建议用这块地方作军校的校址。
蒋介石率领代表团在苏联共考察学习了三个月的时间，一回到广州，孙中山就让他开始筹办军事学校的工作。
筹备军事学校，不光要有教员，还要有大批的器材和枪械，岛上一无所有，完全要凭筹备人员去各地置办。办事一是要人，要人这好办，只要蒋介石向孙中山开口，要谁都不成问题；可是另一个问题也是一个恨本的问题就是钱，钱从哪里来？这是令蒋介石头痛的事情。当时在广州，滇军、桂军、粤军、湘军等都各自把持着收税的权力，广州地方的大部分钱财都进了这些大小军事实力派人物的口袋，他们对于创办军事学校不但不予支持，而且还拼命反对，除了粤军第二师师长李济深积极拿出三万元和一部分长枪以外，其他的桂军、滇军等将领答应的枪枝和经费都不见踪影。一天，为了筹备即将要使用的经费，蒋介石不得不硬着头皮去我军长范石生要钱，当蒋介石到了范石生的住处时，范石生恰好大烟瘤上来了，他一见蒋介石来到就有点烦，问他来干什么，蒋介石说，筹备军校要用钱，现在已经财力告尽了，请范军长支援一点。范石生还不等蒋介石把话说完，就冲着蒋介石发了一通火：“建什么军事学校，吃饱了撑的！就凭你们那么几个人能干什么？当心哪天我派一批弟兄去把你们连锅给端了！”说完话就自顾自地进屋抽大烟过瘾去了，弄得蒋介石进退不得，十分尴尬。后来还是廖仲恺到范石生那里才弄到了这笔钱，蒋介石感到奇怪：“怎么我去他不给钱，你去他就给钱了呢？”廖仲恺苦涩地笑笑说：“那些军阀老爷们，有一个坏脾气，在他们要过大烟瘾的时候，你千万不要去招惹他们，那时候去向他们要钱，不光要不到，还准得挨他们一顿骂，要在他们过足了烟瘾心情很好的时候才去向他们开口，这才有可能把事情办成。”
听了廖仲恺的话，蒋介石想：廖公果然有过人的才能，难怪孙中山那么器重他，从此后，他对廖仲恺更增加了一份敬畏。同时，蒋介石也感觉到，这个军事学校也真是棘手个难办的事情，他真想一甩手了事。
创建军事学校，孙中山仍然坚持他的三大政策，他始终认为，共产党的力量是不可忽视的，他正式通过李大钊向中国共产党提出要求，请中国共产党派员来黄埔，帮助筹办军事学校。应孙中山的请求，中共中央作出决定，陆续选派了周恩来、恽代英、萧楚女、熊雄、聂荣臻、张秋人、鲁易、包惠僧、高语罕等一大批共产党员到黄埔军校帮助工作。1924年3月，黄埔军校第一期学员正式选拔完毕，在第一期学员的六百多人中，有中国共产党的党员、中国共产主义青年团的团员约六十人。这些人在黄埔军校中起着重要的革命作用，在后来的中国革命运动中，也起了至为重要的作用。
当黄埔军校筹备工作正在如期正常进行时，蒋介石忽然不辞而别，一个人跑到上海去了，临行时，他交代秘书王登云，发给筹备委员会的委员们一批路费，请他们各自回到自己的原来岗位上去。筹备处的叶剑英和邓演达坚决反对这么做，他们质问玉登云：“谁下的命令？蒋介石自己在什么地方？
创建军校是孙中山先生的意思，是经过中央临时执行委员会批准了的，蒋介石不能一个人说了算，我们要见廖仲恺廖先生！”可是当时正好廖仲恺到县里去开农民协会会议去了，邓演达和叶剑英坚持要等到廖仲恺回来再说。在他们二人的坚持下，大家都没有散去，一直等了三四天，廖仲恺才回到黄埔。
廖仲恺对那些主张散伙的筹备委员会的委员们说：“你们都是获蒋先生邀请来做军校的筹备工作的，蒋介石中途走掉，这是不负责任的，是一个错误，你们如果真是爱蒋先生的话，就不能在这个时候离开，而要坚持把这个工作做好。我相信，蒋介石先生考虑好了以后，他还会回来的！我宣布：军校的筹备工作继续做下去！”
在广州的孙中山也接到了蒋介石临走时丢下的一封信，信中说：自己筹备黄埔军校，办事时处处遭受掣肘，无力将此事办好，现已将筹备处的一切事宜交廖仲恺先生代为处理，请求总理同意我辞去筹备委员会委员长的职务，并请立即派人接办，等等。接到蒋介石的这一辞呈，孙中山很生气，立即在辞呈上批道：“革命工作在草创时期，总是有许多令人难以预料的困难，务须任劳任怨，百折不回，从艰苦中去奋斗，务必将事业办成，故不准辞职，请立即回到任上，继续工作。”
可是廖仲恺来向孙中山汇报说：蒋介石已经离开了黄埔，一个人到上海去了。孙中山坚定地对廖仲恺说：我创建军校的决心是不可动摇的，请你立即接手这一工作！
黄埔军校筹备处从1924年的3月份开始工作，历时三四个月，终于完成了草创期间的全部工作，廖仲恺请孙中山定一个开学的日子，孙中山毫不犹豫地说：“开学典礼就定在今年的6月16日进行！”孙中山选定这个日子，并不是像我们今天的人们所说的，要选一个吉利的日子，恰恰相反，这一天正好是陈炯明叛变二周年的纪念日。两年前，陈炯明用革命的军队来打革命的军队，炮轰总统府，把孙中山逼到了上海，革命成果差点儿被全部断送。
孙中山要让大家记住这个日子，记住历史上这一沉痛的教训，今天刨建新的军事学校，就是为了建设一支革命党人自己领导的军队，永远保住革命胜利的果实。
学校建成了，校长由谁来当？有的人建议由孙中山亲自当校长，还有一些人认为：这所军事学校，谁当了校长，将来就有了一大笔政治资本。校长一职是个可以在政治上飞黄腾达的肥缺，因此许多人都削尖了脑袋要当这个校长。一时间，托人走后门的不计其数，甚至为了确定校长的人选，党内争得很激烈。
孙中山提议：“由蒋介石来当校长。”这个提议一说出来，立即有很多人反对。有的说：蒋介石在困难的时候丢下一大堆事务不管，临阵脱逃，一个人跑到上海去，怎么还能让他来当校长呢？有的说蒋介石的能力不足以担当校长的大任，说来说去，就是要让自己来当校长。孙中山早已胸有成竹，他对蒋介石的才能是了解的，而且当年陈炯明叛变时，别人都离开了广州，蒋介石却从上海跑到广州，在革命最困难的时候和自己在永丰舰上共同战斗，这说明蒋介石对革命是非常忠心的。孙中山派蒋介石去苏联考察军事，也就是准备好了要让蒋介石来当军校校长的。见大家这么争来争去的，无非是想争点好处，孙中山坚定地说：“我的意见已经定了，如果不让蒋介石当校长，我宁可这个军校不办！”见孙中山这样果断，大家才不好再说话了。
1924年6月16日，现代中国第一个革命的军事学校--黄埔军校在孙中山的亲自主持下，正式开学。开学典礼这天，主席台正中央挂着一条横幅，上面写着黄埔军校的校训：“至爱精诚”四个大字，两边挂着一副对联，上联是：养天地正气，下联是：法古今完人。学生们唱着军校的校歌：莘莘学生，至爱精诚，三民主义，是我革命先声。革命英雄，国民先锋，再接再厉，继续先烈成功。同学同道，乐遵教导，终始生死，毋忘今日本校。以血洒花，以校作家，卧薪尝胆，努力建设中华。怒潮澎湃，党旗飞舞，这是革命的黄埔，主义须贯彻，纪律莫放松，预备做奋斗的先锋，打条血路，引导被压迫民众。携着手，向前行，路不远，莫要惊。至爱精诚，继续永守，发扬本校精神，发扬本校精神。
学生们唱着黄埔军校的校歌，一律穿着中山装式的黄咔叽布军装，精神饱满地进入会场。说起中山装，这里面还有一段故事，1923年上半年，孙中山在主持大元帅府的工作时，觉得中国旧式服装既不经济，又不适用，而要穿西装又很费钱，因为当时的西装毛料都是从外国进口的，很贵。孙中山便在“国民服”的基础上，结合当时在南洋华侨中流行的企领文装的样式，改装成一种新式的服装，这种新式服装，既有西装的硬挺，又有中国人的特点，孙中山还将上衣的口袋做了改动，改成三个明口袋，大口袋做成“琴式”，这样可以装进去许多东西，笔记本和钢笔都可以装进去，便于装学习用具。
后来，这一服装式样在全中国流行，人们便把这种由孙中山设计的服装式样称为中山装。
孙中山在黄埔军校成立大会上作了长篇演讲，他对全体学员们说：“辛亥革命成功，中华民国成立，中国革命因为没有一支好的革命军而失败了，如果没有好的革命军，将来还要永远地失败下去。今天在这里创建这个军事学校，根本的目的，就是要借助这个军事学校创建出一支真正革命的军队来，你们这些学员的任务，就是要在革命的紧要关头，冲锋陷阵，以挽救革命的危亡。”
孙中山要求军校的学员们要有“高深”的学问，所谓“高深”的学问，就是要认真学习革命的理论，继承先烈的革命精神，使三民主义得到最后的成功，那时候，中国才能在世界上同列强各国并驾齐驱，中国的民族才能够永远地生存于人类。
在黄埔学校里，最早实行了政治工作制度，孙中山要效仿俄国革命成功的经验，设立教寻团，并在各连各团委派党代表，主管政治工作。这一措施是黄埔军校作为革命的军事学校区别于其他军校的基本特点。孙中山任命廖仲恺为学校的党代表，先后派国民党的元老戴季陶、邵元冲等人任政治部主任。可是这些人对孙中山的动机并不了解，他们长期不到军校去，政治部是个空架子。后来，校长、党代表与苏联的代表会商，决定请中国共产党派员来担任政治部主任一职，周恩来便受中共中央的委派来到黄埔军校当了政治部主任。
黄埔军校在孙中山的亲切关怀下，在苏联共产党和中国共产党的帮助下，越办越好，培养了一大批军事人才，在中国革命史上发挥了重要的作用。
剿灭商团
广州革命政权的日益巩固，中国革命的形势飞速发展，使得帝国主义在华的代理人们心中益发恐慌，他们总是要想办法颠覆中国的革命政权。当孙中山毫不犹豫地收回了海关关税的主权的时候，英国、法国、荷兰等帝国主义国家就想用武力来干涉，可是，最终还是没敢真的对革命政权发动军事进攻，他们先是努力扶持陈炯明，想利用陈炯明的叛军实力来推翻广东的革命政权。陈炯明几次对广州的进攻都以惨败而告终，令帝国主义者们非常失望。
但是，他们并不甘心失败，他们还要在中国努力寻找其代理人，寻找能够打败孙中山的力量。
功夫不负有心人，英国人终于在广州找到了一条忠实的走狗，这就是商团团长陈廉伯。
陈廉伯是广东南海西樵村人，出生于商人世家，清朝末年毕业于香港的皇仁书院，早年加入了英国的国籍。他的祖父叫陈启源，1872年就在家乡开办了继昌隆缫丝局，这是中国近代史上第一家民族资本主义的工业。陈廉伯16岁时就在英国帝国主义在华的最有实力的实业机关汇丰银行广州支行工作，凭着他的聪明和善于巴结，很快便飞黄腾达，当上了这家银行的中国买办。在陈廉伯当广州支行买办期间，他趁着清末民初政局不断变动的时机，四出投机活动，使香港银行发了大财，英国人对他非常赏识，陈廉伯个人野心也迅速膨胀起来。
陈廉伯不满足于捞几个钱，他要当政府的要人，他甚至想当中国的华盛顿。起先，他非常佩服陈炯明这个人，觉得陈炯明不光有兵权，还有学问，是广州的王，要想走上政坛，陈炯明是一个极好的阶梯。他以一个商人特有的精明，发挥出自己经商的聪明才智，和陈炯明拉起了同宗同族的情谊，借助于陈炯明在广州政坛上的地位，陈廉伯自己的名声也与日俱增，没费多大力气就实现了他的第一步目标。
接着，陈廉伯又干起了欺世盗名的勾当，他狠狠心，拿出了一大笔财产，钻进了广东赈济会这样的慈善团体内，由于他的慷慨大方，陈廉伯被大家选为广东省救济会的总理。后来，他又和桂系军阀陈炳昆拉上了宗族关系，竟然当上了广州商团的团长，地位一日数升，成了地方上的名流，竟然和省长齐名了。
商团本来是商人为了保护商人的合法利益而组织起来的，是自己保卫自己利益的一种非军事化的组织，成立于1912年，参加的人大多数是资本家、商店老板、高级职员等。开始，商团只是“防御内匪，保全生命财产，维持地方公安”而已，对政府的其他事项，一概不问，即使是像捉到小偷这样的小事，也只是扭送政府警察局处理。自从陈廉伯当上了商团团长以后，情况便起了极大的变化，陈廉伯有目的地发展自己的实力，从他1919年当上商团团长时起，就从商团经费里拿出二百万元来，向加拿大政府购买了四千多枝步枪，商团的人数也迅速扩大，很快发展到十个分团，四千多人。