面对各种矛盾，蒋介石陷入无可奈何花落去的境地，但他又不愿就此甘休，他要战胜各种对手，以窃取国民革命的最高权力。经过一番考虑，蒋介石决定重施以前那种以退为进的伎俩，想以辞职、出国相威胁，来达到自己的目的。1926年2月1日，国民党军事委员会任命蒋介石为“国民革命军总监”，蒋则于8日表示不就职，9日，更呈请辞去“军事委员会委员”及“广州卫戍司令”两职，要求赴俄休养，企图以此要挟汪精卫，使汪不好下台。汪精卫十分清楚蒋介石的用心，对他的辞职，不予明确答复，只是例行公事式地劝他“不宜辞职”，并不坚持挽留，这样一来，倒使蒋介石去之不可，留也无益，陷入十分尴尬的境地，回来后，蒋介石在日记里写道：“顷聆季新（指汪精卫）言，有讽余离粤语，其受谗已深，无法自解，可奈何！”至此，蒋介石确信，汪精卫在共产党和苏联顾问支持下，要除掉自己。经过再三考虑，他决定还是离开广州。
蒋介石即命陈立夫购买了日轮庐山丸的船票，并携带现款3万元，坐汽车到天字码头，准备乘船离开广州，先到香港，再由香港搭船去海参崴。
3月19日，蒋介石收拾行装，带着陈立夫，满心不快地乘车前往广州长堤码头。一路上，蒋介石沉闷着脸，默不作声，陈立夫也不好说什么，当时的心情，按陈立夫后来的回忆说，刚开始，他想到放弃工程师的职业，到广州帮蒋介石，实践总理计划，是间接达到自己的志愿，但几个月的政治实践，“使我大失所望，政治原来是这样污秽”，后来又想，既然搞了政治，再污秽也不能放弃，要坚持干。因此，当车快要到码头时，陈立夫忍不住问蒋介石：“校长，为什么我们一定得走？军事权在校长掌握之中，为什么我们不干一下？”
蒋介石听后，似有所悟，即命司机掉转车头，开回寓所。但当车往回开了一会的时候，蒋介石又变了卦，吩咐司机再转头，重新开往码头。陈立夫没有蒋介石考虑的那么复杂，他只觉得干政治，就不蒋介石一副万水千山胸中握的姿态，开采他的“革命之矿”，却是对内的派系斗争，对外的一致“反共”。能轻易放弃，于是又鼓足勇气，劝蒋介石道：“我们如果走了，总理所交给校长的任务将由谁来担负呢？”蒋介石听了沉吟不语，想了又想，最后下了决心，压低声音对司机说：“开回东山公馆。”对这件事，陈立夫本人后来在国民党上海市党部一次演说时也承认，当时，“在车上他劝蒋先生干，有兵为什么不干？汽车到了码头，蒋先生幡然下决心，重新回到家中发动三月二十日之变”。对于陈立夫这个说法，虽然蒋介石后来否认，说陈立夫是小孩子，不懂事，但这个事实是存在的。当时广州城内由国民党右派传出的一些谣言，也有所谓要将蒋介石和陈立夫劫往海参崴的内容，而且说已经为他们二人准备了前往苏联的护照，陈立夫早就将自己绑在了蒋介石的战车上，他开始仇视共产党，在这种心理的支配下，他的话便具有强烈的煽动性，因此，在蒋介石去留广州的关键时刻，陈立夫显然起了十分重要的作用。
蒋介石与陈立夫回到黄埔后，即由陈立夫出面通知王伯龄、陈肇英、欧阳格、吴铁城等人来黄埔开会，进行秘密策划。这一期间，蒋介石多次召开秘密会议，陈立夫作为机要秘书是每会必与。通过反复密商后，他们一致决定采取反共的行动，并估计了驻广东的国民革命军第三、四、五军部分官兵对事变可能采取的态度。3月17日，陈立夫又随蒋介石由黄埔乘汽艇到广州市东堤八旗会馆——广州卫戍司令部，放出共产党有阴谋的空气，并将其在广州东山的寓所迁到有坚固工事的广州造币厂。
3月18日，欧阳格以黄埔军校驻省办事处的名义，传达一道命令给海军局代理局长李之龙（当时为共产党员），称：“转奉校长命令，着即通知海军局迅速派得力舰二艘，开赴黄埔，听候差遣。”李之龙即派中山、宝璧二舰前往。19日到达黄埔后，蒋介石声称无此命令，陈立夫、陈肇英等人即大造谣言，说李之龙“事前并备就蒋校长和陈立夫同志的出国赴俄护照。是日下午，该舰又开赴省城，并即升火，拟于翌晨强迫蒋、陈两同志上舰出海。”并倒打一耙，说中山舰“无故移动”，是“不法行动”，“显系共产党阴谋暴动”。
还在3月19日上午，蒋介石拜访汪精卫，摸清了汪的政治态度，回来后即召开紧急会议，“夕与干部密议至4时”，陈立夫参加了这个秘密会议，并在会上鼓动蒋介石采取行动，对共产党进行突然袭击，这就使蒋介石下定了反共决心。蒋认为“……今日若无决心，岂能挽救本党……”，有人提出怕舆论谴责，陈立夫当即驳斥，认为不必顾忌，蒋便说：“政治生活，全系权谋，至于道义，则不可复问矣。”于是，蒋介石便诬指“共产党阴谋暴动，要推翻政府”，并以此为借口，宣布戒严。
3月20日凌晨，李之龙在广州文德楼家中被绑架，第一军中的共产党员被扣留，蒋介石还派兵包围了苏联顾问团和省港罢工委员会，收缴了两处卫队的枪械。霎时间，广州城里，一片恐怖气氛，这就是蒋介石一手制造的中山舰事件。蒋介石通过这一事件，左右开弓，一石两鸟，一方面打击了中国共产党，另一方面也降低了他的政敌汪精卫的威信。陈立夫在这一事件的整个阴谋中，一直参与其事，充当了极不光彩的角色，正如周恩来所说：“张静江、陈立夫都于1926年一二月回到广州，同蒋介石进行勾结，挑拨国共关系。这就是3月20日中山舰事变的远因，也是3月20日事变以前的政治形势。”
陈立夫在中山舰事件中所表现出来的对蒋介石的忠心，顽固的反共态度，极端仇视共产党的心理及在复杂事变中的诡计多端，都深深获得了蒋介石的赞赏，蒋介石事后在日记中写道：“今日方知孤臣孽子操心之危，处境之苦，若非亲历其境者决非想象所能及其万一也。”可见，蒋介石是以孤臣孽子来称许陈立夫的。
北伐开始后，陈立夫被提拔为国民革命军总司令部秘书处秘书兼机要科长，当时秘书长为邵力子，处长为马文车。陈立夫对工作十分认真，凡是蒋介石签发的文件如布告、委任状、训令、指令、代电等，他总是逐字逐句地从头到尾阅读一遍，然后交监印员盖上大印。他对下属科员要求严格，管束严厉，监印员姜辅成因受不了军事约束，便以女儿要出嫁为由，向陈立夫提出辞职，陈立夫不予同意，并慷慨陈词，要姜辅成献身革命大事，舍其家庭小事，还许愿说：“我们不久就可以打下南京，到时你请假回去，不耽误你女儿的喜期。”以后，姜辅成再也不敢提辞职的事了。每到一地，陈立夫总要召集部下训话，要求机要科人员要精心保管好印章、文件等物品，以免战乱中受到损失。
陈立夫的工作态度和作风，令蒋介石刮目相看。不久，蒋介石让他主管整个秘书处的工作，这样一来，陈立夫便成为蒋介石高度信任的心腹而不离其左右了。这也为他今后的飞黄腾达铺平了道路。
陈立夫从实业救国、技术救国的迷梦中醒来，却又开始了另一场违背道德与良心的政治梦，他原来立下的做一个正直的知识分子的理想已发生异化，从此，他便长期跟随蒋介石，参与重大事情的策划谋略，成为国民党新右派的主要干将。后来，陈立夫写了《一个学非所用的采矿工程师之自述》的文章，文中，他对自己放弃工程技术而从事政治有所遗憾，但更多的却是溢于字里行间的得意之情。
1926年5月初，陈果夫因上海事务已告一段落，与三叔陈其采及曾养甫3人一行奉蒋介石之命到达广州，陈立夫与哥哥见面了。这次见面有十分特别的意义。兄弟俩多年来为自己的事业各奔东西，一个远走海外求学，一个从事职业政治，可谓兄弟殊途。现在陈立夫绕了一圈后，依旧与其兄走到了一起，同在一个地方，同在一个国民党内，同时都从事政治，可谓是异路同归。从此，兄弟俩携手从政，一起办党，成为国民党内红得发紫的人物。于是，国民党便从蒋家天下丁家党的年代跨入蒋家天下陈家党的时期。理想发生异化
初夏的广州，满城青翠，满城骄阳，革命的热潮也同季节一样，日益高涨，日趋火热。而以蒋介石为代表的国民党右派十分仇视革命力量，也在暗中加紧策划，随时准备反扑，国共两党的合作面临严峻的考验。
5月15日至22日，国民党二届二中全会在蒋介石的主持下召开，刚到广州的陈果夫也参加了会议。这次会议通过了由蒋介石提出的旨在限制、打击共产党的所谓“整理党务案”，文件无耻地宣称“五人深信整理党务案必能得一切革命党员之承受”。根据此案，选举了蒋介石的盟兄张静江为中央常务委员会主席，蒋介石取代谭平山当上了中央组织部长并兼任新设的军人部长，邵元冲为青年部长，顾孟余取代毛泽东任宣传部长，甘乃光取代林伯渠任农民部长，叶楚伧取代刘伯垂任中央秘书处书记。这样，在国民党中央党部完全排挤了共产党人，蒋介石等新右派篡夺了国民党中央的重要领导权。
这时，国共两党之间的斗争十分激烈，为了应付复杂局面，蒋介石极需一个得力的反共人才，为此，谭延闿向蒋介石推荐了陈果夫。他说：“果夫有办法，”这正说出了蒋介石的心里话，他对陈果夫是了解的，过去同在上海办交易所时升降沉浮的经历，创建黄埔军校时陈果夫在上海为其网罗人才的功劳，都使蒋介石不能忘记，他深深信任陈果夫，很快，便任命其为国民党中央组织部秘书，实际上将组织部全权交授与他，由其接收组织部，具体实施“整理党务案”。
对于蒋介石反共的“整理党务案”，中国共产党的主要领导人陈独秀却推行右倾的投降主义，采取妥协退让的政策，致使国民党右派分子纷纷进入国民党中央领导机关，陈果夫也十分顺利地接收了组织部。
陈果夫能够十分顺利地进入国民党中央组织部，还有一个重要的原因，就是他的伪装还没有撕破，右派面目还没有完全暴露，据陈果夫自己说：“我能顺利接收，要追溯到过去两年的情形。当十三年本党改组以后，已呈分裂现象，那时我对党务，未加闻问。后来奉蒋先生之命，在沪担任招募及黄埔后方勤务工作，因为职务需要与各方面接触，纯粹本党同志与跨党分子，双方均来问我对于党务的意见。我除了答复‘党内不能有党’的主张外，其他什么也没有表示。同时双方面都要我登记，我都没有参加，因此，对双方面均无恶感而能完成在上海的重要任务。等到发表组织部秘书以后，多数共产党以为我没有直接办过党务，所以不甚注意。其知我者，也认为我没有参加过任何反共组织，是比较超然的人物。所以到中央党部接收组织部秘书职务，毫无阻碍。就是我以中央监察委员之资格任组织部重要职务，也无人批评。”
国民党中央组织部从国共第一次合作以来，一直由共产党员谭平山担任部长，杨匏安担任秘书，在他们的辛勤工作下，国民党的组织建设充满一片生机，组织工作曾有过相当大的发展。陈果夫进入组织部后，秉承蒋介石的意旨，首要任务就是从组织部机关中把共产党人排挤出去。他对部机关的29人，从工作态度、思想作风、举止言谈等方面进行了缜密的观察调查，结果，认为只有3位是真正的国民党人，其他的都是共产党人或受共产党影响的左派分子。于是，陈果夫在国民党右派人物萧铮、郑异等人协助下，开始绞尽脑汁，想办法将这些人清除掉，他主要采用了三种办法来达到自己的目的。
陈其采一生在国民政府任要职，协助蒋介石，成为他名副其实的教父。其一为强硬调出。这是陈果夫清除共产党的重要手段，他到组织部后不久，采取突然袭击的办法，不与任何人商议，在部机关会议上宣布，将共产党员杨某、骆某强行调出，且不由分辩，当即生效。同时，将国民党员段锡朋、王乐平、曾养甫、赖琏等人拉入组织部，顶替杨某与骆某的工作。这一明目张胆的反共行为，当即遭到国民党左派人士何香凝的反对，何香凝直接找到陈果夫，严词质问，陈果夫无言以对，但他仍一意孤行，坚持其反共的做法。
其二是软拉硬挤。陈果夫对有些共产党员开始采取拉拢的办法，希望这些人放弃共产党的立场，跟着他走，但这一着并不奏效，共产党人光明磊落，决不愿跟着他干损害人民和革命的事。于是，陈果夫变换了另一手法，寻找各种借口对这些共产党人进行批评和惩罚，同时对一些毫无成绩的国民党员则无休止地进行表扬和奖励，企图以此形成强烈反差，挤走共产党人。陈果夫这种恶劣的行为，当即受到共产党人杨匏安的强烈反对，杨义正词严地质问陈果夫：“你怎么随便破坏部里制订的章则，罚功赏罪呢？”陈果夫拒不接受，依然如此，果然，在事务组工作的两名共产党员被气走。杨匏安采取措施进行反击，将陈果夫经常表扬的一位姓莫的国民党员调出组织部，一时双方斗争十分激烈。但陈果夫有蒋介石做他的后台，继续采取软拉硬挤的办法，将共产党人排挤出组织部。
其三是迫其辞职。陈果夫对一些有能力又颇有影响的共产党员，采取了更毒辣的手段，就是不分配他们的工作，不让他们开会，使他们无所事事，最后自动辞职。如当时有位姓谭的共产党员，专司民众组织工作，他工作十分负责，成绩突出，在组织部内很有影响，陈果夫几次开会都不通知他，而将他的工作另外分配给别人，结果，这位共产党人只好辞职，陈果夫求之不得，马上安排其亲信曾养甫继任。
陈果夫在清除共产党人的同时，将右派国民党员大量安插到组织部来，如曾养甫、郑异、萧铮等，都给以重用，甚至连反孙中山的陈炯明的亲信吴倚沧，也被陈果夫拉到组织部担任秘书职务，负责秘密工作，并称赞他是个人才。这样，一批国民党右派人物集结在一起，陈果夫完全控制了组织部。他曾十分得意地说：“经过这样的几次事件，章则已有改动，用人也自然比以前自由。迁到南昌之时，部中仅留有共党三个，其余都是纯正的本党同志了。”
在国民党中央组织部机关中清党，是国民党新右派向中国共产党发动的一次重要进攻，也是陈果夫反共的第一步，这一步进行得十分顺利，由于陈独秀的再次退让，中国共产党对国民革命的领导权受到严重打击，周恩来在回忆这段历史时说：“右派的蒋介石占了极大的优势。他把张静江捧出来做中央执委会的主席，实际上这人是陈果夫的傀儡。蒋介石亲自做了组织部长，新设军人部长也是由他兼任。组织部实际上由陈果夫代理。原来我们好几个部长（宣传部长、农民部长等）的位置都让出来了。……陈果夫、陈立夫便利用他们的地位，在各省发展右派。”