这时的蒋介石对张作霖萌生拉拢之意。7月29日，他曾派何成浚为代表到北京，与奉系军阀的代表杨宇霆谈判，谋求与张作霖休战。蒋介石的目的是集中兵力对付武汉的汪精卫，然后，再掉转枪口消灭张作霖。杨宇霆提出的条件是张、蒋、阎联合攻打冯玉祥和汪精卫。张作霖知道，蒋介石如果打败了汪精卫，下一个目标就是他了。蒋介石对张作霖提出的条件犹豫不决。因为蒋介石如果联合张作霖，对日本帝国主义有利，却得罪了英美帝国主义，这就使他得不到英美帝国主义的支持。而英美帝国主义的支持，对蒋介石是绝对不可缺少的。当然，蒋介石和张作霖都是为了各自的利益，各怀鬼胎，并不是想真正地合作。
他们双方各自分析了对方的形势，认为以武力战胜对方，是解决问题的最佳途径。为此，就都放弃了和谈的想法，积极备战，准备兵戎相见。1928年初的中国上空，弥漫着浓重的大战乌云。
箭在弦上，一触即发。
不久，张蒋大战终于隆重上演。
所谓张蒋大战，是指张作霖的安国军与蒋介石、冯玉祥、阎锡山、李宗仁的国民革命军之间的大战。
国民党新军阀蒋介石的国民革命军一直磨刀霍霍，准备继续大举北伐。
1928年1月8日，蒋介石就任国民革命军总司令。
1月20日，南京国民政府颁布《北伐全军战斗序列令》，并决定北伐全军由蒋介石统辖指挥。阎锡山、冯玉祥、杨树庄分别致电蒋介石，表示听候蒋介石指挥。
2月22日，蒋介石任国民政府军事委员会主席，蒋介石发布通电，申明务必于最短时间，完成北伐。至此，蒋介石掌握了国民政府的军事全权。
2月28日，北伐军编组正式决定：北伐全军总司令蒋介石，参谋总长何应钦；第一集团军总司令蒋介石(兼)(辖18个军，29万人)；第二集团军总司令冯玉祥(辖25个军，31万人)；第三集团军总司令阎锡山(辖11个军，15万人)；海军总司令杨树庄(辖4个舰队)。后来，又任命第四集团军总司令李宗仁。从官兵训练和枪械装备来看，这4个集团军，以蒋介石的力量为最大，冯玉祥、阎锡山次之，李宗仁意在保存实力，并没有投入全部兵力。
3月16日，蒋介石颁发国民革命军北伐总方略，分为“方针”“前期作战任务及部署”“后期任务及部署”三个部分。其方针为：国民革命军以消灭奉鲁军阀，即行肃清直鲁热察绥境内反动军队为目的。当日，蒋介石招待京沪各报记者，发表关于北伐的谈话。他说，奉鲁军总计兵力20万，我方实有兵力50万以上，革命军在枪械上和兵力上确有制胜的把握。当然，蒋介石所说的奉鲁军只有20万人，是有意贬低对方。实际上，奉鲁军共计有80万人。
3月31日晚，蒋介石到徐州督师北伐。同日发表《北伐出发告后方同志书》，要求后方将士恪尽职守，使前方无后顾之忧。
4月5日，国民党通过《北伐宣言》。
4月7日，蒋介石下达总攻击令，第一、二、三集团军分别沿津浦、京汉、正太铁路前进。同日，蒋介石发布誓词称，党国存亡，主义成败，人民祸福，同志荣辱，在此一战。蒋介石又发表《告友邦人民书》，希望友邦不要接济奉鲁军军火。宣布：我国民革命军所到之地，绝对不致有排外之行动，革命军对于外人之生命财产必与本国人民同时严密保护。
就这样，蒋介石以人民的名义，假革命的面孔，掩政治的野心，进行了反革命的北伐。这是新军阀和老军阀之间的一次非正义的战争。
新军阀蒋介石对于北伐，在军事、物资和舆论等各个方面的准备，可以说是煞费苦心的，也是思虑周密的。
其实，在此之前，冯玉祥和阎锡山的部队，同奉鲁军的战斗从来就没有停止过。有的战斗还异常激烈，如阎锡山所部傅作义进攻涿州并保卫涿州之战，就是非常残酷激烈的。阎锡山为了在国民革命军中占有一席之地，也为了扩大他的地盘，就乘奉鲁军南下攻打冯玉祥之机，于1927年10月上旬，派北方国民革命军第四师师长战将傅作义率领一个加强师，偷袭涿州城。涿州在北京以南仅100华里，又是大军南下的必经之路。涿州被占，北京震动。张作霖立派第八军军长万福麟，抽调4个步兵旅围攻涿州，又调邹作华率重炮、野炮各一团，协助万福麟进攻。还调工兵一营、坦克一队开到涿州，归万福麟统一指挥。
傅作义退守城内，固守待援。奉军4个旅分四面，包围了涿州城。奉军在占有绝对优势兵力的情况下，对涿州城发动了5次进攻。每次都有大炮的掩护，还有工兵的协助，但是久攻不下。傅作义的部队一直坚守了三个月，直到弹尽粮绝，经人斡旋，后来不得不投降。1927年1月6日，傅作义走出涿州城，与安国军第三方面军第八军军长万福麟晤见，并乘车同赴保定见第三方面军军团长张学良。张学良不似敌人看待，令傅作义住在军团部参谋长鲍文越家眷宿舍中，并按月发给生活费用，出入也不加限制。后来傅作义乘机脱逃到天津。1月10日，其投降部队被改编为安国军第三十六师，派白儒清为师长。
面对蒋介石北伐军的强大攻势，张作霖也加紧军事部署，准备予以顽强的反击。
1928年1月25日，张作霖在北京召开安国军最高军事会议。张学良、张宗昌、孙传芳、杨宇霆、褚玉璞等出席。因韩麟春突患重病，第三、四方面军全由张学良主持。经张学良商得张作霖同意后，由杨宇霆兼代第四方面军军团长，张学良偕杨宇霆驻保定指挥军事。此外，主要研究决定了安国军的作战方略。
第一，张学良、杨宇霆所部第三、四方面军团，大部开赴邯郸以南，向安阳的冯玉祥军进攻。以一部应对娘子关、五台方面的阎锡山军的进攻，并相机向山西内部推进，击破其主力。
第二，张宗昌所部应固守鲁南，不可出击，布置纵深配备，步步防守，抵抗敌军北进。
第三，孙传芳所部在济宁一带防守，与张宗昌部密切联系，固守鲁南。
第四，褚玉璞所部在大名一带防守，与左翼的张学良、杨宇霆的第三、四方面军密切联系，阻敌北进。
第五，张作相所部应配合第三、四方面军团作战，向平型关、大同进攻，并相机攻入晋北内部。
当天，军事会议闭幕。5月26日，奉鲁军将领急忙赶回驻地。
以上的军事部署，奉鲁军是三面出击，对付三个方面的敌人。而奉鲁军的主力是张学良、杨宇霆的第三、四方面军。这两个军团是奉军的精锐部队，兵员足额，军饷充盈，武器精良，官兵善战。约有140个团，总计所辖兵员不下50余万人。它担负着对蒋介石北伐军三分之二的作战任务。但是，奉鲁军却用这两个精锐军团，来攻打冯玉祥和阎锡山的部队。这是以硬攻软，以强击弱。而蒋介石的第一集团军是北伐军的精锐，奉鲁军却用军纪废弛、兵无斗志的张宗昌、孙传芳的军队来抵挡。显然，这在战略的部署上，就首先输了一着棋，而且是致命的一着棋。
据说，在这个会议上，有人看出了这个严重的破绽，提出了一个很好的建议。他建议，津浦线的敌人是装备精良、训练有素的蒋介石直属部队，战斗力很强，可否由第三、四方面军抽调两个或三个军，开到山东中部协助防守。山东是张宗昌的地盘，他不愿意别人插手山东事务。他认为自己兵多粮足，完全可以保住山东，否决了这个提议。
从后来战事的进展看，恰恰是由于张宗昌和孙传芳在山东的失败，造成了奉军的全军溃败。一着不慎，全盘皆输。虽然第三、四方面军打败了冯玉样、阎锡山，张作相也顺利地攻占了大同，但由于天津吃紧，后路危殆，奉军不得不全线撤退。
1928年2月16日，蒋介石于徐州抵开封，和冯玉祥会商北伐大计及作战方略。阎锡山的代表朱振声与会。会议决定，彰德(安阳)、大名方面及山西先取守势，集中兵力解决山东，期于三个月内会师北京。其作战部队为：用于山东方面者为第一集团军第一军团刘峙、第二军团陈调元、第三军团贺耀祖、第四军团方振武、第二集团军第一方面军第三军孙良诚、第四军马鸿逵、第五军石友三、第二十一军吕秀文、骑兵第二军席液池；用于河北方面者为第二集团军第二方面军孙连仲、第三方面军韩复榘、第八方面军刘骥、骑兵第一军郑大章；用于山西方面者为第三集团军全部。
蒋介石的这个作战部署，好像是针对奉鲁军的作战意图制定的。蒋介石集中优势兵力，专门攻击奉鲁军的薄弱环节山东地区。而在河北、山西一带则采取守势，只投放有限的兵力，与奉鲁军周旋。从战略部署看，蒋介石就比张作霖略高一筹。
张作霖侦知蒋介石等在开封开会的消息，也在北京召开奉鲁军高层会议，制定作战方略，但是和以前制定的没有什么差别。张学良、杨宇霆会后，从北京回返保定，准备与冯玉祥作战。限于3月26日前部队到达指定防地。
4月1日，张学良、杨宇霆率领参谋处等有关人员乘专车由保定开赴邯郸，并在邯郸设立前线指挥部，派参谋处长谢珂负责。保定为后勤总站，派参谋长鲍文越负责。张学良、杨宇霆暂住火车上办公。
张学良、杨宇霆在部署完前方战事方略后，又电邀驻军大名的安国军第七方面军军团长褚玉璞到邯郸，商讨联防事宜。褚玉璞随身携带三套大烟具，倒在床上，吸了半个小时，才议论正事。商议完后，他就返回了大名。像褚玉璞这样的大烟鬼，竟然指挥一个军团的官兵，奉鲁军不打败仗，才是怪事。
4月2日，张学良、杨宇霆下达攻击令。命令于学忠、戢翼翘、富双英各军及骑兵第一、第二两军，以戢翼翘为中心，向丰乐镇一带的冯军进攻。奉军进攻一昼夜，冯军不支，4月5日，退守漳河南岸。戢翼翘军继续前进，驱逐了安阳城北面的冯军。于学忠军渡河占领回龙镇等处，逼近安阳城东面，奉军重炮轰击安阳。冯军孙连仲部溃退，被俘1500余人。安阳指日可下。
此时，张作相的第五方面军由平型关起包围了晋北，已经进占了重镇大同，继续进兵，逼近五台。张学良、杨宇霆由北京返回保定后，下令总攻阎锡山。奉军迅速占领了进陉，阎军退守娘子关。奉军连日猛攻娘子关，阎军已呈动摇之势。据当时情报，阎军似乎准备撤退。可以说，奉军在对冯玉祥和阎锡山军的作战方面，呈现优势状态。
然而，奉军在山东一线却连吃败仗。孙传芳被张作霖任命为安国军第一方面军军团长，驻守济宁。本来让他固守鲁南，可是4月上旬，他主动出击，进攻徐州。在进军途中，后路被孙良诚、方振武两军袭占，不得已回军驰援。济宁虽然一时收复，但无力防守，只得命令全军向济南方面撤退，孙传芳和张宗昌幻想固守济南。
蒋介石4月1日到徐州，4月7日发布北伐的总攻击令。蒋介石率领14个军北进。刘峙军迅速攻占了鲁南重镇韩庄，守将许琨溃败。张宗昌命令所部在泰安、界首两地严密布防。蒋军连续攻下泰安、界首，鲁军兵败如山倒，一溃千里。张宗昌、孙传芳退出济南。5月1日，蒋介石进入济南。5月2日，日本第六师团福田彦助由青岛率所部600人抵济南，在正金银行楼上设立司令部。
5月3日，日寇阴谋制造事端，枪杀中国军民，并乘机将北伐军第四十军第七团千余人缴械。同时，杀害了战地政务外交委员会主任兼山东交涉员蔡公时等17人，即“五三惨案”。日方发出通牒：(一)济南商埠街道，不许中国官兵通过；(二)胶济与津浦铁路不许中国运兵；(三)中国军队一律撤离济南20里外。蒋介石决定对日本的挑衅采取容忍的态度，退出济南，分5路大军渡过黄河，绕道继续北伐。当晚，蒋介石密令城外的各路大军渡河北进。因此，蒋军北进一时迟滞。
张作霖一看形势不好，就断然采取措施，一面命令军队在滦东5县(滦县、乐亭、昌黎、卢龙、抚宁)构筑第二道防御工事，并沿滦河架设桥梁；一面命令第三、四、五、七方面军迅速撤退，向滦东5县和关外转移，以保实力。
接到张作霖的撤退命令后，张学良、杨宇霆制订了撤退计划，下令各部遵照执行。第一期，把攻打冯军安阳一带的部队先撤到保定附近，然后由铁路运输到滦东各县。第二期，把攻打阎军的石家庄、娘子关的部队撤到保定以南，先掩护由安阳方面撤退的各部安全通过保定之线，以后作掩护的部队，再以军为单位，按照计划经过京、津中间地带，向滦东一带撤退，集结待命。5月下旬，奉军全部安全撤回滦东一带。奉军的军事实力没有受到太大的损失。
5月9日，张作霖急召张学良、杨宇霆到京，讨论停战息争之事。张学良、杨宇霆均力主停战息争。会后，张作霖发出息战电报，愿将所有军队开出关外，不问关内政治。在此之前，蒋介石与冯玉祥在党家庄车站的清真寺内举行会议，参加会议的还有黄郛、王正廷、杨杰、杨永泰、蒋作宾等人。蒋介石鉴于日本人插手内战，提出停止北伐，与张作霖划江而治，分“南北朝”。冯玉祥坚决反对。会议决定：济南事件以外交方式解决，绕开济南继续北伐。因此张作霖的来电，北伐军不予理睬。蒋介石下令冯、阎和白崇禧的部队急向北京推进，蒋介石部队沿津浦路继续北进。张作霖见主和无望，决定奉军出关，以图再举。于是下令奉军全部转移滦东集结，逐步出关。张学良、杨宇霆制订撤退计划。
当北伐军大举向京津进发，奉军撤退时，5月9日，以陈篆为首的驻外各国公使联名发出了请求息争御侮的通电。同一时期，徐世昌、段祺瑞、黎元洪、曹锟、王士珍、熊希龄、汪大燮等北洋元老和名人也纷纷发起和平运动。
30日，张作霖在北京主持北京政府最高级会议，讨论和部署撤离北京，退回关外的问题，并即日下总退却令。6月1日，张作霖在居仁堂接见各国公使，随后又传见北京商会会长，告以本人即将离开北京，政务交国务院代行，北京秩序请王士珍负责维持。同时，南京国民政府与张作霖协议，并取得外交使团同意，北伐军以和平方式接收京津，奉军退出关外。撤退时，北伐军不进行追击，撤退未完成前，北伐军不进入北京。奉军撤出北京后，成立以王士珍为首的临时维持会，维持北京治安，奉军留下鲍毓麟旅维持北京治安，待北伐军和城后即行撤退，国民党方面保证该旅的安全。
6月15日，南京政府发表宣言，宣布“中国之统一，因全国人民奋斗与牺牲，以告完成”。南京政府宣布将直隶省改为河北省，北京市改为北平市。