蒋介石所谓的“第二次北伐”，于1928年4月10日开始总攻击，第一集团军沿津浦铁路北上。冯玉祥第二集团军攻掠京汉路以东与津浦路以西地区。阎锡山的第三集团军自太原出娘子关，截断京汉线。李宗仁的第四集团军自武汉循京汉铁路北进，与友军会师北京。如此庞大的军团，南北夹攻，声势浩大。孙传芳与张宗昌的直鲁军于龙潭一役后，已一蹶不振，然而蒋介石及其第一集团军沿津浦铁路北上时，左翼忽被孙传芳残部突破，顿感惊慌失措，幸冯玉祥的孙良诚部及时截断孙军退路，始得解围，蒋冯两军遂于4月22日在泰安会师，并于5月1日进占山东省城济南。
蒋介石进驻济南，当时济南有日侨两千人，日本田中政府遂以护侨为名，不顾蒋之外交部长黄郛一再保证日人生命财产的安全，蒋复于3月6日欢宴日本记者演说时，强调“中日亲善提携”（见《中华民国重要史料初编——对日抗战时期》绪编（一），第114页），仍于4月18日决定派五千远征军到山东。北京、南京两府俱向日本抗议侵犯主权。蒋到济南后立即与日将获致协议，日军撤退，蒋保证维持和平，并令各军“对日本始终忍耐，勿出恶声、勿使冲突”（见同书，第124页），但5月3日一早就发生冲突，引起枪战。蒋介石害怕，同意撤至城外，以换取停战。根据英美公使的密件报告，冲突的发生实由于蒋军入城后纪律太坏之故。（见Wilbur，The Nationalist Revolution in China，p.179）然而蒋虽撤兵城外，日军仍借题发挥，派遣生力军，声言惩罚，并于5月7日递交第一次通牒，要求处置有关官员，解散有关部队，撤去济南城内部队，查禁一切反日宣传，以及所有中国部队向济南至青岛铁路南北两侧撤退二十华里等，并限十二小时内答复。（见同书，第133页）蒋介石在日帝横蛮威吓下，居然答应一部分极具侮辱性的条件，但日方仍不满意，于5月8日下午向济南实施攻击，至11日蒋军无力抵抗而屈服，济南城内外遭到严重破坏，中国军民死亡数千人之多。（据《蒋总统秘录》，日寇杀害中国军民三千二百五十四人，见第七册，第51页）
蒋介石于5月5日晚上，当日机轰炸济南时，就仓皇逃出城外，把总司令部迁至党家庄车站。翌日冯玉祥来晤（见《冯玉祥日记》第二册，第458页），黄郛、王正廷、杨杰、杨永泰、蒋作宾等参与会议。蒋介石居然在会议上提出放弃北伐，与奉张划江而治的主张，但遭冯玉祥等反对。最后决定避开日军，绕道北伐。5月10日，南京政府党政联席会议在兖州召开，与会国民党要员一致表示必须对日妥协，满足日军一切要求，并诉请国联调停。有趣的是，蒋介石再度提出放弃北伐，此次冯玉祥不在场，由谭延闿力言不可放弃，蒋介石无辞以对，只好打消这个念头，再度肯定绕道北伐的前议。但他自己不肯再在前线指挥了，把任务交给冯玉祥后，即返回徐州去也。（参阅蒋致冯玉祥电，见《中华民国重要史料初编——对日抗战时期》绪编（一），第139页）
济南惨案毫无疑问地暴露了日帝横蛮凶残的真面目，不过一片反日情绪却也模糊了蒋介石举措失当的真面目。这件惨案是在他眼皮底下发生的，他一开始就采取极为软弱的对策，不惜卑躬屈膝，在5月2日的日记里自认：“不屈何以能伸，不予何以能取，犯而不校，圣贤所尚，小不忍则乱大谋，圣贤所戒。慎之！勉之！”他又于5月6日电告南京政府：“转饬所属，对各友邦领事、侨民生命财产，须加保护，凡有碍邦交之语宣传，宜随时取缔。”（见《国闻周报》第五卷第十八期）但是他对帝国主义的屈辱，并未稍减日帝的暴行，更未得丝毫善意回报，可称国耻。（参阅杨天石《济案交涉与蒋介石对日妥协的开端》，第75—89页）他于失败屈辱之余，竟忧惧丧志，二度想放弃北伐。他还掩饰第一集团军的军纪废弛。前次汉口事件与南京事件，他有共产党可以指责，而此次共党既被他清除干净，已无代罪羔羊，只好加以掩遮。其实蒋军的纪律绝不会比一般军阀的军队好。
蒋介石于兖州会议后回到徐州，把绕道北伐进兵河北的任务交给冯玉祥，让第二集团军去应付京津一带的帝国主义，以及号称百万的奉军。他又约冯玉祥与白崇禧到郑州，于5月21日开军事会议，以地盘与军饷来鼓励冯、白积极进攻。白返汉口后，即率第四集团军北上。白回忆称：“奉军之侦察机发现我方之援军有百余列车，才退回关外。”（《白崇禧先生访问记录》上册，第90页）张作霖奉军足与阎锡山晋军周旋，但桂系大军压境，势必退守东北。不过由于张作霖极度敌视冯玉祥，故于离京前所作撤退安排，故意有利（于）阎锡山进取京津。奉军于5月底即弃守保定。蒋介石于5月30日到石家庄晤阎，许诺京津地盘。6月1日张作霖通电出关，6月3日清晨在皇姑屯被关东军炸死，张学良于6月4日至天津，安排奉军退出山海关。同时北京的“和平维持会”电请在保定的阎锡山进京。8日阎属商震部先入京，翌日阎偕白崇禧进京，设立卫戍司令部。12日阎以部将张荫梧任北京市警备司令，命傅作义任天津警备司令，完全控驭京津地区。蒋介石先促冯玉祥进取河北，后让阎锡山据有京津，自有制造阎冯间矛盾之嫌。冯玉祥于6月2日电蒋，“谓我军是为革命而牺牲、为统一而作战，非为争地盘而革命”（《冯玉祥日记》第二册，第468页），已露意气，冯的不开心，不仅表之于电文，而且付诸行动，命韩复榘故意阻截北京公使馆所请维持秩序的一旅奉军，并缴其械。公使团与南京政府几经交涉，才逼使冯玉祥放人还枪。显然冯生此事端，令蒋难堪。
蒋介石以南京政府名义，于1928年6月15日发表宣言，通告统一完成。事实上，统一并未完成，新疆至17日始易帜；张学良退据东北，至岁暮才内属。日本早已警告南京政府，不得染指东北，蒋岂敢进兵由于当时感到统一东北无望，才会于6月15日宣告统一。他未料到张学良国仇家恨，不顾日帝的威胁与阻挠，毅然于同年12月29日宣布东北易帜，归属中央。（见《申报》1928年12月30日报道，另见同日上海《新闻报》）然而即使东三省内属，南京政府成为唯一的中央政府，但是各个集团军雄踞一方，派系林立，军令与政令均未真正统一。所谓北伐成功，全国统一，根本是有名而无实。
§§§第三节比旧军阀更黩武
有名无实的统一之后，蒋介石虽高高在上，控制唯一合法的中央政府——南京政府，但事实上不过是占领东南几省的一个诸侯。他环顾当时的中国，自南至北，除他之外，还有五个权力中心：广州的李济深、武汉的李宗仁、开封的冯玉祥、北平的阎锡山以及沈阳的张学良。这种国民党内群雄割据的局面，多少由蒋一手助成。他为了建立个人的军事势力，不惜一再打击党的威信，甚至否认武汉党中央而别立南京中央，开了国民党内军头主义的先河。他又为了早日完成北伐，不惜容纳军阀余孽，并与各派军头妥协，允诺地盘以及其他政治与经济利益，最后造成以国民党新军阀取代北洋旧军阀的后果。
更糟糕的是，北伐完成，若论战功，蒋介石的第一集团军无论如何摆法，必然在四个集团军中“憾”陪末座。号称第一，实居第四，若论功行赏，欲以第一集团军通吃其他各军，必难以服众。“功”之外，蒋之“德”更不堪闻问，即连始终帮蒋抬轿子的丑角吴稚晖，私底下也说：“蒋先生是个流氓底子出身，今已黄袍加身，一跃而为国府主席，自然目空一切。”（《李宗仁回忆录》，第394—395页）“黄袍加身”是宋太祖赵匡胤的故事，明末清初大儒王船山于《宋论》中畅言，宋太祖取天下自知无德、无功，乃重一“惧”字，即懂得谨慎小心的道理，杯酒释兵权，重文偃武，使天下晏然。蒋介石若有慎惧之心，自应面对现实，认可中央与地方均权分治，在联省自治的基础上，更上层楼，以便避免战祸，和平建设，逐步完成真正的全国统一。然而他既无德无功亦不惧，才会“目空一切”，悍然欲以武力征服所有的异己，以遂其迫不及待的中央集权心愿，结果弄得全国骚然，党争无已，兵戈不休，最后酿成中原大战。此役为时之久、杀戮之惨、破坏之厉、百姓之苦，皆为北洋军阀时代所未曾见。
蒋于动武之前，早已有一连串的动作。他于1928年6月9日，眼见北伐即将告成，突然宣布辞去党政军各职，其动机不外有二，其一于此紧要关头，撒手不干，必获各方呼吁挽留，以增身价；其二欲“以身作则”，诱各军头效法，如在辞职电文中所谓“此后军权统归政府”云云，以便战后削藩。但这场戏演下来，只遂其一。果然自中央到地方欲请蒋留职的电文交驰，蒋然后于6月17日打消辞意，要负责到底。三日之后即部署改直隶为河北，北京为北平，并任命新人事，以削阎锡山之权，逼使阎于6月27日辞去京津卫戍司令一职。
李宗仁在其回忆录中透露一则自称“惊人的消息”，谓蒋在北伐刚完成时，已经企图用武力消灭异己。这则惊人消息，是他于1928年7月底在李济深家里听到的！
李济深当时住在南京鼓楼附近一座小洋房里，渠因曾兼黄埔军校副校长职，故家中常有黄埔学生出入。某次，有一位粤籍黄埔生去找他，并告诉了他一项特别消息。略谓：
蒋校长此次（十七年7月杪）自平返京道上，曾在蚌埠稍事逗留，并召集驻津浦沿线的第一集团军中黄埔军校出身上尉以上军官训话。训话时，发给每人一小方白纸，并询问大家，北伐完成后，军阀是否已经打倒认为已经打倒的，在纸上写“打倒了”三字，若认为尚未打倒，则写“未打倒”三字。
各军官不知校长的用意，为仰承其意旨起见，概按照事实，作正面的答复。蒋看后大不以为然，遂再度训话说，你们认为军阀已打倒了，其实不然。旧的军阀固然是打倒了，但是新的军阀却又产生了。我们要完成国民革命，非将新军阀一齐打倒不可。蒋氏最后更强调说，只有连新军阀一齐打倒，你们才有出路，你们现在当连长的人，将来至少要当团长云云。（第391页）
李济深是国民党老军头，北伐初期第四军军长，留守广州，并兼黄埔军校副校长。有军校出身军官将此事相告，不足为奇，何况写纸条的军官必不在少数，人证很多，绝不可能是流言传说。然则蒋视冯、阎、二李为新军阀，已呼之欲出。如果国民革命军的第二、三、四集团军皆为新军阀，则第一集团军岂能例外蒋无意之间认同了毛泽东所谓“国民党新军阀蒋桂冯阎四派”（见《毛泽东选集》合订本，第47页）的说法！