1927年3月下旬某日，黄绍竑在南宁接到李济深从广州拍来的急电，要他立刻秘密去广州商量要事。由于黄绍竑家眷住在广州珠江颐养园，时常去广州，因而这次去广州并没有引起人们的注意。
黄绍竑乘专轮到广州后，在颐养园稍作休整，便直奔李济深府宅。一见面，李济深便取出一份蒋介石由南昌拍来的密电，内容是要李济深和黄绍竑两人克日到上海同他商量重要问题。电报里虽然没有说明是什么重要问题，但是李济深和黄绍竑都不约而同地料定，一定是为了反共，因为这个时候南昌、武汉以及各地的国共斗争已经很公开了。黄绍竑和李济深互相交换了一些情况和看法，在反共这个问题上彼此所见略同，不谋而合，于是，就决定同去上海。李济深告诉黄绍竑，到香港和上海的船票都已经准备好了，下午就要动身；他并且提醒说，现在码头上省港罢工委员会的纠察队监视很严，因此行动要格外小心。
黄绍竑回到家里把这件事告诉了夫人。夫人甚为吃惊，也觉得这次行动非同小可，为了更便于秘密行动，她劝黄绍竑把留了六七年的络腮胡须剃去。
黄绍竑匆匆剃去胡子后，坐了一艘小艇悄悄地登上了省港轮船泰山号。在泰山号船上，同李济深见了面，同行的还有冯祝万（那时他是参谋长还是财政厅长，已记不清）、陈孚木及随从一人。
一行人当晚10点多钟就到了香港，有人早已在码头上秘密迎接。下了省港轮船泰山号，黄绍竑等马上就上了美国邮船庇亚士总统号。
第二天，邮船就向上海开行了。
在由香港赴沪途中，李济深和黄绍竑几次长谈，交换意见，内容无非是补述一些当地情况和商量到上海以后的共同主张，由陈孚木作记录。陈孚木是廖仲恺被刺时同时遇难的陈秋霖的老弟，此行担任秘书的任务。
4月2日上午，邮船驶入黄浦江，还没有泊码头，白崇禧就派他的参谋长兼上海市市长张定璠乘海关小火轮到船上来迎接了。他一见面，就告诉说，租界里万不能住了。他说：“自从我军克复上海之后，租界的周围都被共产党领导的工人纠察队严密封锁，他们同租界里的外国军警隔着铁丝网对峙着，住在租界不但出入不便，而且很危险。白总指挥要你们两位到他的总指挥部去住。”
于是，黄绍竑一行乘小火轮直接前往设在高昌庙江南兵工厂里面的东路军前敌总指挥部。
在去指挥部的路上，黄绍竑等人看见长江上的外国兵舰的大炮都卸了炮衣，指向上海市区，这让他们更加感到形势的危急。
船到了高昌庙，李宗仁、白崇禧都在码头上迎接。上岸后从叙谈中才知道，蒋介石已经到了上海。在黄绍竑一行到上海那天（4月2日）的下午，蒋介石和何应钦、吴稚晖（当时任南昌总政治部主任）、李石曾、陈果夫（中央监察委员）、陈立夫（蒋介石的机要秘书）来到东路军前敌总指挥部开会。参加会议的除了同来的这几个人之外，还有住在总指挥部的李济深、李宗仁、白崇禧和黄绍竑。
蒋介石首先发言，说明为什么要“清党”反共和为什么要把“中央”
移到南京、建都南京。他说“：13年国共合作、共产党加入国民党的时候，他们（指共产党）就不怀好意，他们的组织仍然保存，并且在我们党内发展组织。自15年3月20日‘中山舰事件’之后，这种‘阴谋’日益暴露。北伐军到了武汉，中央某些机关和某些人受了分化或者受了劫持，把武汉同南昌对立起来。因此，现在如果不‘清党’，不把中央移到南京、建都南京，国民党就要被共产党所‘篡夺’，国民革命军就不能继续北伐，国民革命就不能完成。”最后，他表示要听听大家的意见。
与会者都是主张“反共”的，自然决不会有相反的意见，而是从一致的反动立场出发，罗列一些歪曲事实的“亲身见闻”加以渲染，来污蔑共产党所领导的工农群众热火朝天的革命运动，以此来加强反共“清党”的气氛。
李济深首先报告了广东方面特别是在彭湃领导下的海陆丰农民运动的情况。他说：“如果不早日‘清党’，早日镇压，其他各县的农民都将起来效尤。广东的局面就无法维持了。”
黄绍竑接着把韦拔群所领导的广西东兰农民运动日益发展的情况说了一番，并且说：“现在要镇压是很容易的，其所以不敢镇压，是因为碍于中央党部和省党部的那些共产党人和他们的同路人用党部的名义维护着农民。”他最后明确表示“必须早日‘清党’反共”。
何应钦在会上报告南京方面的情况时，着重谈到南京惨案。
南京惨案又叫“三二四”惨案，是指1927年3月23日，北伐军兵临南京城下，北洋军阀部队眼看守城无望，便准备渡江撤退。这时，南京城里的一些兵痞和流氓乘机进行抢劫。24日，北伐军先头部队进城，骚乱继续发生。下午3时40分，停泊在下关江面的英国、美国、日本、法国、意大利等国的军舰竟借口保护侨民和领事馆，向南京城内进行猛烈炮击，时间长达一小时之久，酿成炸死炸伤中国军民2000多人，毁坏房屋无数的南京惨案。惨案发生后，帝国主义列强又向中国大量增兵，对中国政府施加压力。经过两年多的谈判，南京国民政府向帝国主义列强道歉、赔偿，并答应惩办“骚乱”分子，而对中国人民所遭到的惨重损失却只字不提。
对于南京惨案，何应钦居然为帝国主义屠杀中国人民的血腥罪恶作辩护，把南京惨案的责任加在共产党身上，说是因为“共产党鼓动士兵和地痞流氓抢了、打了外国领事馆和外国侨民，才引起外国兵舰开炮轰击的”。
这次会议上，白崇禧发言最多。他说：“上海自我军占领之后，工人就组织纠察队封锁租界。他们有自己的武器，有自己的指挥系统，不服从军事长官的指挥。他们要冲入租界，占领租界。现在外国领事团已经提出严重警告，黄浦江上布满了外国兵舰，兵舰上的大炮都卸了炮衣指向我们，租界里新近调来了不少外国军队。如果发生冲突，不但全国精华的上海完了，北伐事业也要完了。”
白崇禧还诬蔑共产党“离间”军队，说：“第一军驻在上海的两个师，第二师师长刘峙老实些，执行（反共）命令认真一些，他们就贴标语、散传单要打倒他；第一师师长薛岳灵活些，与他们表面上接近一些，他们就贴标语、散传单表示拥护。如果这种情形长此下去，我们的军队也要发生变化。”他又说“：上海的帮会很有力量，什么阶层都有他们的组织，还有他们的武装，黄金荣、杜月笙、张啸林、杨虎都是坚决反共的。”
吴稚晖的发言满口无锡土音，许多人都不大听得懂，只听见他说什么“国民党已经变成了火中取栗的猫脚爪”等等。
会上，陈果夫不大说话。他身穿长衫，罩上一件小坎肩，活像一个钱庄伙计。李宗仁也谈了一些军队政治部问题以及他在地方上所看到的问题。
在4月2日秘密会议以后，为了使“反共清党”合法化，4月5日上午又在旧上海道尹公署楼上开了一次秘密谈话会。参加的有蒋介石、柏文蔚、宋子文、李济深、李宗仁、黄绍竑、白崇禧、古应芬、蔡元培、李石曾、吴稚晖、张静江等。
由于到会的国民党中央执行委员和监察委员都是少数，无法代表国民党中央，这次会上就决定由吴稚晖向中央监察委员会提出一个“检举”共产党“谋叛”的呈文，并用中央监察委员会的名义据以咨请中央执行委员会、国民革命军总司令蒋介石以及地方军事当局作“非常紧急处置”。