在日舰炮击大沽口消息传出的当天，北京学生联合会已决定在3月16日示威游行。等到八国联合武装干涉中国内政的通牒提出后，更加激起全国人民的愤怒。
1926年3月18日上午9点，各团体、学校群众约三千多人到天安门集合，召开了大会。会后，两千多人随即出发游行，来到了铁狮子胡同东口，在段祺瑞的执政府门前广场列队请愿。
这次游行是由中国共产党领导和指挥的，游行队伍由共产党员王一飞率领，李大钊、陈毅、赵世炎、王荷波、陈乔年等中共北京区委领导人都参加了示威游行。
游行队伍在行进中，一路上马路两旁人山人海，纷纷脱帽鼓掌表示支持。看来老百姓是心意相通的，游行队伍表达的诉求正是他们埋藏在心底的愿望，现在终于有人出来为百姓说话了，他们岂能不表示敬意。
提前得到消息的执政府如临大敌，在游行队伍到达之前，北新桥以南，交道口以东，铁狮子胡同东西两口，执政府东西辕门及大门口，已经集结了大量的军警待命。
游行队伍在执政府门前站定之后，派代表向守门的军官说明要求会见段祺瑞。要求送进去了，足足等了半小时，才有一个军官模样的人出来凶狠狠地说： “执政有病休息，不在这里。”接着又用威胁的口吻说： “你们赶快走开吧。”
代表们仍然心平气和，一再说明请愿只是反对帝国主义干涉内政，这个军官只是说自己没有权利答复他们的任何要求。代表们转而要求面见贾德耀，与他谈判，但得到的答复仍是“他不在”，就没别的话了。
得不到任何回音的游行群众开始高呼口号，高唱《国际歌》和《打倒列强》，就在这时，没有任何征兆，也没有鸣枪示警等措施，执政府卫队突然开枪了。执政府门前不到两百平方米的空场，刹那间变成了尸山血海，临时执政府卫队对手无寸铁的学生进行了长达十多分钟的射击。这次大屠杀造成47人死亡、132人受伤、40人失踪，这就是震惊中外的“三·一八”惨案。鲁迅先生称1926年3月18日为“民国以来最黑暗的一天”。
惨案激起了全国人民的愤怒，北京各校学生联名向京师地方检察厅控告段祺瑞、贾德耀、章士钊，要求依法拘捕审判。京师地方检察厅在调查后也不得不承认“群众并无犯罪行为，且未达到不正当侵害之程度，府院卫队实无开枪之必要，不能认为正当防卫”。中国共产党、国民党、全国学界、广州国民政府和工商界、教育界、妇女界乃至海外华侨、外国团体都纷纷通电支持北京学生，并以各种形式的活动追奠死难者，谴责段祺瑞执政府当局。
4月11日，段祺瑞躲到东交民巷。20日，段祺瑞派胡惟德代理内阁总理，摄行执政职权，他自己则去了天津避居，这是段祺瑞最后一次下野。从此，他便离开了政治舞台。
北京政局缺少了段祺瑞，已经成了一个不折不扣的空头内阁。张作霖和吴佩孚看到了自己掌权的机会。
“亲兄弟’’，明算账
张作霖和吴佩孚联合起来了，他们实力雄厚，兵势滔滔，形成了一股难以阻挡的力量。而张作霖与吴佩孚两人更是哥哥长、弟弟短的互相叫得亲热，但实际上他们心里都明白，联合不过是表象，一旦打倒冯玉祥，两人必将翻脸。这不，还没等到冯玉祥被完全打倒，他们已经自己掐起来了。
段祺瑞因“三·一八”惨案下野避居天津，吴佩孚进北京，任命王怀庆为京师卫戍总司令，负责维持北京治安。
根据吴张的密约，组建北京政府，由吴佩孚主持，张作霖不加干涉。但是，在如何组建北京政府上，两人发生了意见分歧。段祺瑞执政府刚垮台，直奉军阀的矛盾立马就尖锐起来了。
几天前还与吴佩孚信誓旦旦，声称与吴佩孚议好，各奉军绝对不入北京的张作霖，刚一赶走冯玉祥，就迫不及待地令奉军和直鲁联军强行开入北京，并任命了自己人做京师警察总监、京畿临时警备总司令、京畿卫戍司令，以控制京师。
吴佩孚不甘示弱，针锋相对也任命了自己的京师警备总司令。于是，北京城内就出现了这样一个极其罕见的景观：两个北京政府，两套官员班子。两班人马互不相让，争吵不休。
吴佩孚深知自己在北方的势力还不及张作霖，但张作霖政治上的活动余地绝对不如自己，所以他期望从政治上控制大局，即恢复曹锟宪法，起用曹锟任命的颜惠庆内阁。张作霖当然清楚吴佩孚的用意，故激烈反对，坚持要恢复约法，召集新国会，让他的亲家靳云鹏出来组阁。为此，双方就所谓法统问题，函电纷驰，吵个不休。
然而，这时的形势对张、吴来说都不乐观。冯玉祥的国民军虽然退到了南口，但是实力还存在；而南方的广东已经得到巩固，正在积极筹划进行北伐战争，革命的威胁仍然时刻缠绕在他们心头。
为了稳定局势，巩固战果，不让南方的革命军趁机各个击破，张作霖首先做出了妥协，承认了吴佩孚组成的政府及内阁班子，即颜惠庆内阁。但他没料到，吴佩孚竟然咄咄逼人，一点不给自己台阶下，指使颜惠庆任命了所有直系人马为内阁成员，完全将奉系排除在外，这令张作霖勃然大怒，于是反过来又以拆台的手段抵制，颜惠庆又成了空头内阁。
在张作霖的逼迫下，颜惠庆内阁于22日举行了第一次内阁会议，也是最后一次会议。会议对颜惠庆的辞职照准，改派杜锡琏为代理内阁总理。会后发出两个电报，一个是欢迎吴张两帅入京，一个是通告解除颜惠庆的职务。张作霖达到了让颜内阁倒台的目的。
张作霖对吴佩孚玩的手段是很清楚的，他在政治上和老吴明争暗斗，但军事上双方还是维持着合作关系。
这时张作霖认为入京的时机成熟了。26日，北京军警当局动员宪兵、保安队和步兵，在北京大街小巷全面戒严，三步一岗五步一哨，层层封锁，北京东站戒备更为森严，整个月台上不允许任何人进入，只许王怀庆、张学良、张宗昌三个人通行。张作霖的派头，比过去的皇帝真是有过之而无不及。
吴佩孚当然不能被人家比下去，27日，他由保定启程，所挂列车多达44辆，并派两架飞机保护，28日才到达北京。
张作霖先到吴佩孚的行馆拜访，吴佩孚握手欢迎，两人的谈话仅仅20分钟就结束了。出于礼节，中午吴佩孚又回访张作霖，他们这次见面谈了一些具体问题。关于内阁问题，双方同意暂时维持杜代阁，等到军事结束后组织正式内阁时再议；关于军事问题，推吴佩孚全权主持。参加进攻南口的奉鲁军，一律归吴佩孚指挥。张作霖笑呵呵地说：“敝部悉听二哥指挥，我的部队就是你的部队。”
吴佩孚和张作霖这一回合的争斗，显然是吴佩孚失算了。张作霖把进攻南口的难题交给他去解决了，吴佩孚不知是计，还在暗自庆幸得到了一个好机会，他想好好表现一下自己军事家的才智。
南口一战
南口位于北京的西北部，距离北京仅一步之差，对北京构成了严重威胁。要想打击冯玉祥的国民军，南口之战不可避免。国民军以鹿钟麟为前敌总指挥，驻怀来县城内，以抵拒进攻南口之敌。
奉军在张作霖的调遣下，很快对南口的冯军采取了三面大包围的态势。奉军的第三、第四方面军团由张学良、韩麟春统率所部，从奉天境内出发，迅速到达北京。另一部分从南口东部绕到东北部，向延庆进攻，包抄后路。
此外，黑龙江督办吴俊升统率大军，向察哈尔的多伦猛扑，热河都统宋哲元不敌，向多伦方向退却。这样，奉军就完成了对南口冯军的北、东、南三面大包围的态势。
直鲁联军推李景林为前敌总司令，褚玉璞为前敌总指挥，进驻昌平、沙河一带，与京汉线上的吴军相约同时进攻南口。
根据奉吴军事协定，吴军主力担任南路的进攻，然而吴佩孚的部队很多是原来的冯军改编的，不愿意同冯军兵戎相见。两军相遇，就投向了冯军。所以，打了近20天，没有前进一步。
这时广东北伐军已经出动，湖北督理陈嘉谟不断打急电请吴佩孚回武汉，主持对南军事。吴佩孚借口表示，愿意把北方军事完全交给奉鲁军负责，本人打算回南方对付北伐军。
于是，张作霖和吴佩孚两人派张宗昌为前敌总指挥，并调奉军炮兵司令邹作华携带重炮前往助攻。
从7月19日开始，进攻南口的主力改由奉鲁军担任。24日，南口的侧面展开了激烈的炮火战；8月1日，张学良、张宗昌到前线督战；14日，奉军第十军于珍部攻下南口。
此后奉军一路进军，占领延庆，占领怀来，占领广灵，占领张家口。兵败之下，冯军退入甘肃。北方战事告一段落。
南口战役结束了，失败方冯玉祥的国民军远遁甘肃，获胜方张作霖和吴佩孚庆功。
张作霖拿出了整整20万元作为对有功之臣的奖赏，凡是在作战中立有战功者一律重奖。相比之下，吴佩孚显得要寒酸得多，他才拿出了2万元，连同国务院拿出的4万元，总共才6万元，还不到张作霖的三分之一。
但是吴佩孚还有招数，他控制着北京，能直接影响政府和国务院。于是，他建议政府晋授张宗昌为义威上将军、陆军上将；张学良为良威将军，加陆军上将衔；褚玉璞为璞威将军，授为陆军中将。
吴佩孚以为他是奉方所推举的主持南口战役的各军统帅，而他保举的又都是奉鲁军将领，当然不会发生问题。
没想到的是，张作霖不买账。张学良给国务院发电报，拒绝接受这一任命，理由就是我们奉军向来是接受上将军张作霖的命令，没有他的同意，任何人都不敢接受北京政府的任何任命。这分明是说，你们有什么资格给我们颁奖授衔，也不拿镜子好好照照自己。
其实，吴佩孚很想借此表现自己的权威，但奉系将领根本不买账。吴佩孚弄巧成拙，处境尴尬。最后，在庆功宴上，奉军将领全体拒绝参加。
战胜了冯玉祥的国民军，至少在北方是没有任何力量可以和张作霖的奉系抗衡了，张作霖的气焰一天比一天见长。在他的心里，早已经将自己当成了中国最高统治者，小小的吴佩孚当然不放在眼里。
不仅如此，为了故意出他的丑，张作霖甚至还由自己直接任命了高维岳为察哈尔都统，完全不经过内阁总理同意，北京政府事实上已经成为一个花瓶摆设。