10月19日，孙中山致电上海的国民党事务所，告诉他们：他已经决定委任廖仲恺、汪精卫、张继、戴季陶、李大钊五人为国民党改组委员会的委员，又秘密地给北京的李大钊发了个电报，要他立即去上海主持商讨改组国民党的事宜。10月24日，孙中山又委任廖仲恺、邓泽如、林森、谭平山、陈树人、孙科、许崇清、谢英伯、杨庶堪等九人为国民党临时中央执行委员，以林直勉、谢良牧、徐苏中、林云陔、冯自由五人为候补委员，正式组成了国民党临时中央执行委员会，负责筹备国民党的改组工作。
1923年的11月25日，标志着国民党改组工作走出成功的第一步的《中国国民党改组宣言》正式发表，宣言把这次改组国民党的动机和目标写得清清楚楚，宣言认为，中国国民党自成立以来，已经走过了将近二十年的历史，也做了不少惊天动地的大事，但是从国家当前的状况来看，不能不承认：国民党二十年来的革命非但没有成功，相反是失败了的。接着说到要想改变中国目前的落后状况、使革命获得成功的唯一途径是必须对现在的政党进行改造：“……欲起沉疴，必赖乎有主义、有组织、有训练之政治团体，本其历史的使命，依民众之热望，为之指导而奋斗，而达其所抱政治上之目的。否则民众蠕蠕，不知所向，惟有陷为军阀之牛马、外国经济的帝国主义之牺牲而已……而吾党本其三民主义而奋斗者历有年所，中间虽更迭口号，然宗旨主义未尝脱离；顾其所以久而不能成功者，则以组织未备、训练未周之故。
夫意志不明，运用不灵。虽有大军，无以取胜。吾党有见于此，本其自知之明，自决之勇，发为改组之宣言，以示其必要。先由总理委任九人，组织临时中央执行委员会，以始其事；行将召集海内外全党代表会议，以资讨论。关于党纲章程之草定，务求主义详明，政策切实，而副民众所渴望。而于组织训练之点，则务使上下逮通，有指臂之用；分子淘汰，去恶留良，吾党奋斗之成功，将系乎此，愿与同志共勉之！”
孙中山预料：这一改组宣言一发表，将会引起党内外的广泛关注，特别是党内的一些不大赞成改组的同志，将会产生许多疑惑，很多人还会思想不通，少数人还将会起劲地反对改组国民党的主张，必须尽早对党内的同志进行思想教育，用说服的方法，把这些人的思想统一起来，以免给改组国民党的工作带来不必要的阻力。因此，在这一宣言一发表的时候，孙中山就注意党内同志的反应，抓住机会进行演说。他在大本营中召集起来一些老党员来，反复解说这次改组国民党的动机，他说：“过去，在我们党内，有同志认为，革命军起则革命党消，把革命成功的希望寄托在旧军队身上，殊不知这样做给我们带来了多少危害，陈炯明、唐继尧、沈鸿英、温树德、叶举、洪兆麟等等，他们先前都是革命队伍中的一员，后来，随着他门个人势力的增长，野心也越来越大，竟走到了反对革命的道路上去了，差点就使革命陷入了万劫不复的境地。今天，我党改组的唯一目的，在乎不光是依靠兵力，而且更要依靠我们党本身的力量，我们党本身的力量从何而来？从民心而来，人民心力是革命成功的基础。只有人民的心力是最足依赖的，单纯的兵力是不足依赖的，因为兵力的胜败无常。我们党必须先有一种基本的力量作基础，然后兵力才有可靠的希望。俄国人为什么革命在我门之后而成功却在我们之前，就是因为他们有一种人心的力量作基础，不光胜利了，并且能在列强的重重压力之下不会失败……”
有人对学俄国的方法表示不理解，问孙中山说：“我们素来认为俄国革命党是一种过激行动的党，我们现在学习俄国，岂不是也要走过激的道路么？”
孙中山回答说：“在革命开始的时候，如果没有一些过激的行动，是很难取得成功的，而今天的俄国已经恢复了秩序，并且已经开始了建设新国家的工作，成绩斐然。所以，从这里看来，当初的一些过激的行动也是无可厚非的，从今天俄国的现状来看，还有一点点过激之处么？俄国人学问深、气魄大，所以他们能想出良好的方法来，我们想要取得革命的成功，就一定要学习俄国！”
还有人对联合共产党表示不理解，说：“共产党成立不到两年，成员不足一百，和共产党联合有什么好处？再说，共产党主张共产，过激议论和行动比苏联还要厉害，我们怎么能和共产党联合呢？”孙中山又对这一观点进行耐心的说服教育，孙中山说：“共产党成立时间虽然短，人员固然也不多，但是共产党内有许多杰出的人才，共产党人有着博大的胸襟，共产党人还有着做民众工作的良好的方法，这些都是我们所没有的。君不见：叛军叶举、洪兆麟部围攻广州时，共产党人振臂一呼就组织起来数万武装；外国军舰开进白鹅潭的时候，还是共产党人，组织了声势浩大的民众运动，使外国列强不得逞其阴谋。这些都是共产党人超过我们国民党人的地方，我们正是要学习共产党人的这些方法，学习共产党人坚定的主义的精神，这样才能保证我们的革命的胜利！”
孙中山的慷慨激昂的演说，给广大的国民党员们以深深的感染，许多人都对孙中山的观点表示心悦诚服。
可是，国民党中一些持右派思想的元老们却不买这个账，他们就是顽固地反对和共产党联合。身为改组委员会成员的元老张继，他就是坚决反对改组国民党的，他更加反对和苏联、和共产党人联合，张继、冯自由、戴季陶等人联合起来，反对联合共产党，冯自由最为卖劲。他对孙中山说：“国民党不能和共产党合作，如果国共合作，共产党将会乘机打倒国民党，即使是叫共产党进来，也只能把他们当作酱油和醋，而不能把共产党当作正菜！”
孙中山对这些人的顽固不化非常气愤，反复说服教育都不顶用时，孙中山真的生了气，孙中山说：“你们怕共产党，不赞成改组，那你们就退出国民党；你们不愿意进步，我就解散国民党，我可以以个人的名义加入中国共产党！”为了进一步统一思想，孙中山还是努力多作说服工作。一天，孙中山集中一些老党员来开座谈会，主要是召集那些对改组有意见的人，张继、冯自由等人都被召集到会。会议从一开始，孙中山就立足于国民党建党思想的“天下为公”的主张，反复说服这些老同志，希望他们能理解自己的苦心，真心地支持改组国民党的工作。可是，还没等孙中山把话说完，冯自由就从座位上跳了起来，大喊大叫地表示不同意国民党改组，冯自由说：“先生的所谓联共联俄的主张，我考虑再三，就是不能同意，因为您的这一主张简直就是引狼入室，将来会后患无穷！”张继也连连拍着桌子大声地说：“联俄联共，这是亡党的主张，我要求孙总理能听取我们的意见，撤销三大政策，至于改组的事情，只能由本党自己内部进行，不要俄国人和共产党人插进来！”
孙中山对冯、张二人顽固不化的态度非常生气，本来想对他们发一通火的，后来总算是忍住没发火，又耐心地将改组国民党和联合共产党、联合俄国人的意义反复讲了几遍。可是，冯自由却一边跳脚一边大声地叫：“联俄联共，亡党亡国，我冯自由绝难从命！”
冯自由说完话就要离开会场，气得孙中山实在是憋不住了，大声地叫：
“冯自由，你给我站住！今天晚上是发扬民主，大家讨论党内事务的，你反对改组的主张也可说，可以以理服人，可是你却耍起流氓手段来，竟然捣乱会场，为严肃纪律，本总理决定给你以处罚！马湘！”“在！”卫士马湘在门外答应了一声。“给我把冯自由关起来，禁闭一夜！”马湘高声应道：“是！”
走过去，将冯自由带走，冯自由只得老老实实地跟马湘走出会场。
国民党中资格最老的两个人物胡汉民、汪精卫二人也对孙中山的三大政策表示怀疑和反对，汪精卫和胡汉民一道去向孙中山进言，对孙中山说：“联合共产党，就会像是孙行者钻进铁扇公主的肚皮里一样，我们就没有安宁的时候了。”孙中山见自己的这批老同志都不理解自己的政策，便决定起用廖仲恺，让廖仲恺来主持改组工作。邓泽如、林直勉等一批资格较老的国民党员也向孙中山上书，反对三大政策，他们把孙中山想实行三大政策归结为是受了共产党的蒙蔽，在信中说：本党改组，虽然是出自我们总理的独自主张，但其中的组织法和党纲、党章的拟定则多是出自俄国党人鲍罗廷和共产党人陈独秀之手，今天，陈独秀率领他的党人集体来到我们党中，就是想借我党的身体，注入共产党的灵魂，将来会使我党受共产党人的指挥，革命成功，是共产党人的福；革命失败，是我国民党人的祸。所以认为，联俄联共政策切不可行……看了这样的信，孙中山非常生气，当即在信上一一批示：“党纲、党章的起草，是我请鲍罗廷君作的，我亲自加以审定的，原稿为英文，后由廖仲恺译为中文，陈独秀并不知其中之事，我党诸君切不可疑神疑鬼。”又批示道：“我国革命，历来为各国列强所不容，所以常常助反对我们的力量来扑灭我们，只有俄国才是真正地同情我国革命，如果联合之中有弊端，理当人人起来改变它，而不应该坐而论道，我们要尽我们的责任……”
对孙中山的解释，邓泽如、林直勉等人就是不听，他们甚至要再成立一个组织来反对改组国民党。
可是，孙中山痛感到自己三十多年革命的经历不会欺骗自己，他下定了决心，改组国民党的主意绝不变更。1924年1月20日上午，中国国民党第一次全国代表大会在广东高等师范学校礼堂开幕。到会代表一百五十六人，其中有中国共产党人二十四人，孙中山以国民党总理的身份担任会议的主席。
大会开幕，大会秘书长刘芷芬请孙中山致开幕词，孙中山对这次大会终于能顺利地召开，感到无比欣慰，他还预感到大会中可能要遇到不少阻碍，便用凝重的语音说道：“我们这次大会只有十天，会期很短，我们要集中精力来研究一些实实在在的问题，各人都要虚心，绝不能以无意识的问题来制造纷争，生出无谓的争论，耽误大会的时间。”孙中山说：“我们这次大会有两件事，第一件事是改组国民党，第二件事是要用革命政党的力量去改造国家。除此以外，我还有一件事要提醒大家，从前，本党一直不能巩固成功的原因，不是敌人有什么大的力量来打败我们，而完全是由于我们自己同志的思想见识过于幼稚，常常在自己的队伍中生出一些误解来，致使全党的团结非常涣散，革命因此而常常失败……”
开幕词的最后，孙中山要求：“今天这个大会是中华民国开国以来的第一次，这次会议将在我们中华民国的历史上留下光辉的一页，我要求与会诸君在这短短的十天时间内，把我们大会预期要做的事情做完，使我们这次大会达到预期的目的。”
这次大会通过了《中国国民党第一次全国代表大会宣吾》，接受了中国共产党提出的反帝反封建的主张，确立了“联俄”、“联共”、“扶助农工”
的三大政策，以革命的精神重新解释三民主义。所谓民族主义就是主张“中国民族自求解放”，对外免除帝国主义的侵略，强调民族主义的目的在于使“中国民族得自由独立于世界”，“中国境内的各民族一律平等”，反对民族的压迫，“各民族有自决权”，在革命胜利之后，将组建一个自由统一的中华民国。所谓民权主义，主张普遍平等的民权，使民权为一般平民所共有，不是少数人的民权。同时，宣言认为，凡是真正反对帝国主义的一切个人和团体，都享有一切自由和权利，而凡卖国以效忠于帝国主义及军阀者，则无论其为个人还是团体，都不得享有自由和权利。所谓民生主义，就是要平均地权，节制资本，反对土地权为少数人所操纵，反对私有资本制度操纵国民的生计。
大会进行期间，忽然传来了苏联国家领袖列宁逝世的噩耗，孙中山非常悲痛，决定休会三天，广州政府机关下半旗致哀。
大会结束的最后一天，通过了大会的宣言草案，草案中原来有收回租界、收回海关、废除不平等条约等内容，有些代表顾虑到这些内容写入之后会刺激列强，主张删去，孙中山坚决主张保留，经过一番激烈的争论，最后还是保留了这些内容，大会最后选举孙中山、胡汉民、汪精卫、张静江、廖仲恺、谭平山、李大钊、于树德等二十五人为中央执行委员，邵元冲、邓家彦、沈定一、林伯渠、毛泽东，瞿秋白、张国焘等十七人为中央候补委员，邓泽如等五人为中央监察委员。
中国国民党的第一次全国代表大会在孙中山的领导下，在苏联共产党和中国共产党人的帮助下，取得了很大的成功。
创建黄埔军校
孙中山在领导国民革命的实践中，深切地体会到，要想实现革命的目标，必须有一支基本的革命军事力量，这也是苏联革命成功的基本经验。苏联革命成功之后，之所以能在各国列强的环伺之下，岿然不动，就是因为有一支革命的基本军事力量在支撑着，这一条道理，当陈炯明叛变。孙中山不得不退居上海时就已经深切地认识到了。因此，在讨贼军日益取得军事上的胜利时，孙中山就已经开始了创建军事学校的部署。在1923年的2月，苏联的全权特派员越飞来到中国时，孙中山便授意廖仲恺和越飞会谈，重点解决创办军事学校的事情。这之后，孙中山又决定派一个代表团去苏联考察，向苏联人学习创办红军的经验。8月5日，孙中山正式决定，派蒋介石、瞿秋白、张太雷、王登云等人组成孙逸讪博士代表团，去苏联考察军事、政治等事务。
代表团由蒋介石任团长，8月16日从上海正式启程赴苏联，9月2日到达莫斯科。孙中山给蒋介石一个明确的指令是：代表中国国民党，向列宁和苏联政府提出三点要求，第一个要求是，希望苏联革命军事委员会派代表团到华南来，依照苏联训练红军的办法来帮助中国训练革命的军队，派来的人越多越好。第二个要求是，孙中山自己在适当的时候要亲自到苏联来考察苏联红军，希望苏联政府为孙中山提供方便。第三个要求是，此次中国派去的代表团在苏联可适当地多呆一些日子，与苏联革命军事委员会共同商讨中国的作战方案，这一作战方案包括的内容很多，主要是如何巩固新生的广州革命政权，如何北伐以统一中国等等。