1925年10月，第二次东征时，海陆丰一带的农民运动在彭湃的领导下有了很大的发展，农民自卫军在国民革命军到来之前就占领了县城，选举彭湃的哥哥当县长。蒋介石到那里后成了客人，这不能不引起蒋介石对民众运动的畏惧。特别是当时在黄埔军校内部，青年军人联合会的发展大大超过孙文主义学会；军队中3个师的党代表，共产党占两个，9个团的党代表，共产党占7个，在连、排、班以及士兵中都分布着共产党的组织；各军还成立了政治部。在革命力量的发展面前，蒋介石更加动摇起来，企图加以限制。1925年11月，蒋介石召集了连以上的军政人员联席会，会上公开表示他的黄埔军校不可分裂，要求把所有在黄埔军校以及在军队中的共产党员的名单都交给他，所有国民党员加入共产党的名字也要告诉他。当时，周恩来以此事关系国共两党，须请示中共中央才能决定为由，搪塞过去了。后来，蒋介石在同周恩来的谈话时进一步提出，为了保证黄埔军校的统一，共产党员或者退出共产党，或者退出黄埔军校与国民党，并假惺惺地表示后者是他所不愿意的。中山舰事件的发生，是蒋介石为了打击共产党的力量。
1943年3月，国民党方面出版的资料承认，中山舰事件，“为蒋校长裁制共党之一种表现，固为人所共知”。原来，“蒋校长蓄意裁制共党，已非一日”。自黄埔军校创办以来，共产党的力量在广东逐渐占据优势，在黄埔军校里更是如此。除了共产党分子，还有青年军人联合会。反共产分子，则组织了孙文主义学会。两个组织之间暗斗激烈，共产党较为得势。结果，孙文主义学会颇受青年军人联合会的压迫。孙文主义学会跑到蒋介石那里告状，蒋介石对共产党势力的发展颇感不满。所以，蒋介石曾下令，要学生中的共产党员必须到特别党部登记。两次东征结束之后，左右两派的冲突愈演愈烈，“蒋校长乃决定以实力制裁，此中山舰事件发生之由来”。
张国焘认为，国共关系的恶化是中山舰发生的原因之一。青年军人联合会同孙文主义学会在黄埔军校内部彼此对抗，双方摩擦有增无减。蒋介石虽然不大相信中国共产党和青年军人联合会对他会有什么异动，但是，他对中共军队在各地国民党党部和在工农群众中的势力日渐增大，不会坐视不管。而且，军队的中共党员不会绝对听从蒋介石的支配，这使他颇感不安。由于这一原因，3月20日事变，就这样发生了。
马文车在他的回忆文章中写到：蒋介石对共产党的心情，一则恐惧，一则怀恨。他深知“有了军权就有了一切”。在军事上培植自己的势力之后，就想实施独裁制度。由于中国共产党在群众中的威信日益高涨，他害怕共产党员也会在军队里深得人心。他由猜忌而恐惧而怀恨，于是，东征结束后，蒋介石千方百计地寻找机会，企图把黄埔军校和国民革命军中的共产党员排挤出去，特别是在第一军，他一定要达到这个目的。
当时在广州的布勃诺夫使团亲眼目睹了中山舰事件的发生，他们也遭到暂时的拘禁。事件发生之后，布勃诺夫断定，这是一次“针对俄国顾问和中国共产党代表的小型的半暴动”。
张国焘也是这么认为的，他在回忆录中写道：这一事变包含着反抗苏俄控制的民族观念，要对中共加以压抑的反共意识。领导这一事变的蒋介石所采取的手段，却是一种推翻原有领导的军事行动。
经过中山舰事件，250多名已经暴露身份的共产党员撤出了第一军和黄埔军校，蒋介石牢牢控制了第一军。他向这些共产党员作了解释，但把自己的责任推脱得一干二净。他说，为什么要各位都退出来呢？因为当时确实有人对各军军长说：共产分子在第一军内虽然不多，但是这些分子1个可以当10个用，并且是有团结的，可以随时制服其他一切。有人在演讲中说：“中国革命没有成功，就要杀共产党吗？”这些话引起一般军官的恐惧与自卫，所以，对党代表感到不安和怀疑，这些军官要求共产分子全部退出来。
毫无疑问，中山舰事件成了国共关系的转折点，以蒋介石为首的新右派开始崛起，并且以比老右派更为激烈的方式向共产党和国民党左派发起进攻。此后，共产党和国民党左派联合控制国民革命领导权的局面不复存在，革命队伍内部的分化已经无法弥补，这为莫斯科处理国共关系增加了难度。
（九）蒋介石蓄谋已久
据切列潘诺夫回忆，蒋介石发动中山舰事件，不是突如其来的一时冲动，而是“准备已久了”。在1月召开的国民党第二次代表大会上，中国共产党人表现得非常活跃，并且掌握了相当的主动权。林伯渠代表国民党中央执行委员会作大会准备工作报告，董必武作代表资格审查报告，吴玉章作大会秘书处筹备会工作报告，谭平山、刘尔崧、邓颖超分别作党务、工会运动、宣传工作、妇女运动报告。另外，于树德、董必武、吴玉章、刘伯坚、夏曦分别作地方党务工作报告，还有不少共产党员在大会上发言。中国共产党人的这些举动，不仅为大会的召开作出了贡献，而且提高了共产党的政治威望。
更重要的是，中国共产党在大会选举中取得了令人满意的结果。在二届一中全会选出的9名国民党中央执行委员会常务委员当中，有3人是共产党员。常务委员会下设的中央党部，大多数主要领导职务由共产党人担任。其中，秘书处5人当中有3人是共产党员。谭平山、林伯渠分别担任国民党中央组织部长和农民部长，毛泽东代理宣传部长。同国民党第一次代表大会相比，在国民党二届一中全会上，共产党员在国民党中央党部所占的人数明显增加了。而国民党右派却在会上受到打击，他们当中只有孙科、戴季陶和伍朝枢进入了国民党中央执行委员会。“右派一败涂地，哑口无言”。
对于这样的结果，蔡和森表示：国民党第二次代表大会的成功，“就是工人阶级与城市小资产阶级和农民联合战线的表现，因为这次大会更加确定了国民党与共产党的关系，这就是工人阶级与小资产阶级联合战线反对帝国主义的关系”。
但是，这个结果引起了国民党新右派的极度恐慌，他们扬言说：在大会的全体代表中，共产党员占了五分之三，这次大会完全受了共产党的操纵。而且，这个结果使“一向赞成容共的国民党人”也提高了对共产党的警觉，“蒋介石就是其中之一”。他看到共产党如此深得人心，“也大吃一惊”。在整个大会期间，蒋介石只是在1月6日到会作了军事报告，然后就再也没有参加大会了。在大会选举之前，汪精卫特意在黄埔军校召集党团会议，想听一听蒋介石对大会选举的意见。汪精卫首先通报了候选人的安排情况，他说：党军方面的候选人，我们希望蒋先生能提出意见，我们的意思是，除了蒋先生及何应钦应该当选外，还有王柏龄、王懋功也应该提名为候选人，另外还要选拔几位年轻人。
蒋介石当即表示：“我还是在军事方面多尽点力，我不要当中央委员，也不应该当中央委员，一个军人如果什么事都管，就难免造成军人政治。我决不能做苏俄的托洛茨基。王柏龄和王懋功没有必要。至于提拔几个年轻同志当中央委员，我倒没有什么意见。”会议期间，蒋介石从开始直到散会，“态度始终很不自然，好像是有千言万语说不出来的样子”。
实际上，从国民党第二次代表大会之后到中山舰事件发生，蒋介石对苏联顾问和中国共产党表现出相当的不满。3月8日，蒋介石曾向汪精卫表示过他的看法：一切实权不可落入俄人之手，即与第三国际联系，“亦应定一限度，要当不失自主地位”。
但是，在国民党第二次代表大会上招致失败的右派并没有就此罢休，而是决定利用蒋介石。他们深知蒋介石的气量小，而且多疑，于是就费尽心机地从中挑拨，说俄国顾问对他的态度如何不好，如何想摆脱他。鲍罗廷离开广州前往北方同冯玉祥会晤，是想把革命重心转移到西北，以加强冯玉祥同蒋介石的抗衡。他们甚至还说，俄国人要把蒋介石弄到莫斯科去。蒋介石果然相信了这些谣言。早在2月中旬，蒋介石就十分恼火，常常发牢骚，说俄国人不信任他。
恰在这时，国民政府决定将广西军队编为第八军、第九军。此事又引起蒋介石的猜疑，他相信，这件事“证明外面的谣言，不是凭空而来的。我自汕头回到广州以后，就有一种倒蒋运动，无论本军里或本校里，都造出一种不良空气，使得军队里的官长想反叛，并且拿利禄来引诱我们的官长”。当时，广东有6个军，即第一、第二、第三、第四、第五、第六军，广西有两个军。据蒋介石推算，照此下去，广西军队应该编为第七军、第八军。而第七军的编制却空了出来。于是，蒋介石猜测，这是俄国顾问暗示他的部下、第二师师长王懋功，“先要他离叛了我，推倒了我，然后拿第二师和第二十师编成第七军，即以第七军军长犒劳我部下反叛的代价，这是不可掩饰的事实。”蒋介石由此断定，“已经有人不满意我”，甚至要“推倒我”。
蒋介石赶走王懋功之后，又致电周恩来，催促他速回广州。周恩来发现蒋介石同右派来往密切，并且觉察到“他的神色不对”，便报告了张太雷。可惜，“苏联顾问不重视这事，把一个大问题当做小问题，儿戏对之”。以致蒋介石的反共阴谋得逞。