14日，蒋介石同鲍罗廷再次磋商“国共协定”。鲍罗廷提出了不同的意见，蒋介石解释说，这些条件对共产党来说虽然苛刻了些，但是，大党内部允许小党活动，“无异于自取灭亡”。由于联合各阶级共同奋斗的策略，是孙中山定下来的，所以，“余犹不愿违教分裂，忍痛至今”。而鲍罗廷始终“默然”。
经过商谈，5月9日，双方达成3点共识：（1）鲍罗廷容忍蒋介石在中山舰事件前后的所作所为，包括蒋介石限制、排斥中共党员的行为以及“以蒋代汪”的局面；（2）鲍罗廷将苏联提供的军事物资，全部交给蒋介石；（3）蒋介石答应继续聘请鲍罗廷担任高级顾问，并接受鲍罗廷提出的打击右派的意见。
蒋介石在回忆两人商谈整理党务案时这样说过：“当鲍罗廷与我会商这个办法时，对我的态度极为缓和。凡我所提主张，都作合理的解决。”
双方达成了8项协议。
这8项协议是：
（1）共产党应训令其党员改善对于共产党的言论态度，尤其对于总理及三民主义，不许加以批评及怀疑；（2）共产党应将国民党内之共产党员全部名册，交国民党中央执行委员会主席保管；（3）国民党中央党部各部长须不跨党者充任；
（4）凡属于国民党党籍者，不许在党的许可外，有任何以国民党名义召集党务会议；（5）凡属国民党党籍者，非得有最高党部的命令不得别有组织及行动；（6）中国共产党及第三国际对于国民党内共产分子所发的一切训令及策略，应先交国共联系会议通过；（7）国民党员未经准许脱党以前，不得入其他党籍；如既脱党籍而加入共产党者，以后不得再入国民党；（8）党员违反以上各项时，应立即取消其党籍，并依其所犯程度加以惩罚。
上述8项协议，不仅使中国共产党向国民党作出了让步，同时也抑制了国民党右派的活动，基本上体现了莫斯科的意图。
鲍罗廷在向蒋介石作出让步的同时，却在指责中国共产党。他把中共广东区委的人召集起来开会，批评中国共产党不该采取退让的政策。还说1925年底中共中央在上海同孙科、叶楚伧达成的协议产生了不良后果。这些举动给反共的国民党人士一种暗示，使他们觉得，如果他们对中共采取反对和压制的措施，中共也会逆来顺受，这就“间接鼓励了3月20日事变的发生”。显而易见，鲍罗廷说这番话，其意图是将酿成中山舰事件的责任，“归咎于中共中央的‘退让政策’”。而他对蒋介石所作出的让步，却是“不得已和暂时的”。他还声明，这只是限于过去经验的检讨，并非反对中共中央的领导。
但是，张太雷道出了鲍罗廷“在这一件公案上所运用的苦心”。他说，中山舰事件的发生，不能说是绝对不能避免的，但我们自己至少也有部分责任。如果归咎于莫斯科的政策或者俄国顾问的作为，在国际上将有极恶劣的影响。但是，“如果说是由于鲍罗廷的错误，他亦将无法继续工作。只有说成是由于中共中央某一短暂时期的措施有所偏差，才是牵动不大的交代”。
对于鲍罗廷的所作所为，中国共产党的一些党员很反感。毛泽东一直不满意鲍罗廷的行为。中山舰事件后，他辞掉了国民党中央宣传部长的职务，专门从事农民运动。当毛泽东得知这一内情后，他责怪鲍罗廷“这个假洋鬼子居然玩弄这样的政治手腕”。张国焘同样也感到不愉快，他回忆说，在5月上旬，一切重要问题都在蒋介石、张静江和鲍罗廷3人秘密商谈之中。鲍罗廷遵守三巨头之约，不向张国焘透露实情。他向张国焘说的话，“大多是闪烁其词的”。张国焘非常不满，甚至准备提前返回上海，“以示不与鲍共同负责之意”。
大约在5月上旬，苏联提供的一批军事援助运抵广州。“立即轰动一时，苏俄的军火到了”。此时的鲍罗廷更是踌躇满志，“他口袋内的‘草支票’似乎已经兑现了”。
在广州的部分中共党员强烈要求鲍罗廷把一部分武器送给中国共产党，以便对付蒋介石可能制造的分裂。张国焘还责问鲍罗廷，苏联政府既然可以将大批军火供应给不可靠的蒋介石，为什么就不能直接供应一些给中国工人和农民？“如果苏俄政府愿意这样做的话，中共可以经过工人纠察队和农民自卫队所控制的港口，协助解决运输上的困难”。他还对鲍罗廷说，你把目前的退让措施看作是暂时的，同时也是进攻性的，甚至注重土地革命，但是，如果不给中国农民武器，这一切都“成了废话”。
然而，鲍罗廷拒绝了，他认为目前决不可能这样做，等到时机成熟了，“再作计议”。不仅如此，鲍罗廷还把“不肯进攻”、“不注重土地革命”等大帽子扣在中国共产党人的头上。后来，斯大林批评陈独秀犯了机会主义错误，其实就是受鲍罗廷的影响。
毫无疑问，鲍罗廷执行的政策“将会陷中共于不利之境”。张国焘曾询问鲍罗廷：“国共关系会有怎样的变化？”而鲍罗廷的回答令人吃惊，他说：“中共似乎是命中注定要做中国革命的苦力。”
5月14日，即国民党二届二中全会召开的前一天，鲍罗廷要求张国焘、谭平山去拜访蒋介石，说这是“绝对必要的”，因为第二天就要召开国民党中央全体会议，外界的传言很多，说中共要举行游行示威，反对国民党中央的决议。蒋介石对这些传闻甚表关切。所以，他希望中共方面向蒋介石表示，对即将召开的会议内容并不知情，也就说不上赞成或者反对，而且还要向蒋介石讲清楚，中共始终维护两党合作，决不会公开反对国民党，如果第二天广州发生游行示威或者出现传单，这完全与中共无关。
鲍罗廷的建议无疑使广州的中共党组织陷入尴尬境地。谭平山时任国民党中央组织部部长，一直被看作是亲近汪精卫的左派人士，中山舰事件后始终没有同蒋介石接触。他对鲍罗廷的建议“苦笑不语”。张国焘宣称，广州市流传的有关破坏国共合作的谣言与中共无关，中共方面只知道有个党务整理方案，却不了解详细的内容，如果中共方面向蒋介石表示忠诚，这“未免太过抹煞中共的地位”。但在鲍罗廷的再三劝说下，张国焘、谭平山只好前往东山拜访蒋介石。他们按照鲍罗廷的要求，向蒋介石表达了中共对国民党二届二中全会的态度。蒋介石自然是“色然而喜，频频表示欣慰”。
5月15日，国民党二届二中全会在广州召开。蒋介石当选为主席团成员，并担任当天会议的执行主席。会上，蒋介石以“消除疑虑，杜绝纠纷”以及“改善中国共产党与国民党的关系”为由，提出《整理党务案》、《选举中央执行委员会主席案》、《国民党与共产党协定事项案》以及《全体党员重新登记案》等4项提案。
其中，《整理党务案》是蒋介石与谭延闿、孙科、朱培德、宋子文、甘乃光、陈公博、伍朝枢等联名提出的。主要内容有两条：一是整理党务案的4项原则：改善国民党与中国共产党的关系；纠正两党党员妨碍两党合作的行动与言论；保障国民党党纲党章的统一权威；确定中国共产党员加入国民党的地位与意义。二是组织国共两党联席会议，审查两党党员妨碍合作的行动、言论及其纠纷问题，协定两党有连带关系的各种重要事件。
《选举中央执行委员会主席案》由蒋介石、谭延闿、谭平山、伍朝枢、程潜、甘乃光、陈公博等联名提出。建议设立国民党中央常务委员会主席一人，监督党务工作的进行。这项提案实际上从组织上进一步排斥了汪精卫。
《国民党与共产党协定事项案》是蒋介石单独提出来的，共有9条。大部分条文是蒋介石同鲍罗廷事先商谈好的。后来又增加了一条，即：凡他党党员加入国民党者，在高级党部（中央党部、省党部、特别市党部）任执行委员时，数额不得超过各该党部执行委员总数的三分之一。这项议案一提出，“全场相顾惊愕”。
《全体党员重新登记案》也是蒋介石单独提出来的。内容是：国民党全部党员进行重新登记；各地党部需要统一，没有中央命令的党部一律取消。