郭松龄反奉期间，张作霖感到有和吴佩孚联合共同反对冯玉祥的必要。1925年12月，张作霖派杨宇霆和吴佩孚的代表蒋百里在大连会晤，“大体上达成了谅解”。1926年1月10日，“张景惠与张志潭在汉口又会晤多次，渐次使合作成为固定”。他们合作的协议主要是：“奉方承认吴以长江流域为基地，而吴则保证与支持奉张从华北除掉国民军势力的斗争。”同时，吴佩孚又派吴天民、杜孝穆等三人至奉，商议联合进攻冯玉祥国民军的计划。
郭松龄反奉举兵时，吴佩孚曾给张作霖发去一个安慰电，大意称：“从前冯玉祥倒戈，令我痛心；现在郭松龄倒戈，想必你也是很痛心的。我生平所最痛恨的就是这些反复无常的小人，现在我很愿意援助你。”这是猫哭耗子式的安慰，张作霖当然明白，但仍然假装糊涂地对吴佩孚致电“表示谅解”。这样，他们在英、日帝国主义的策动下，达成谅解，捐弃前嫌，准备共同对付冯玉祥的国民军。
当杨宇霆和姜登选被分别从江苏与安徽驱逐出去后，山东督办张宗昌军曾南下援助，但被孙传芳军所阻。孙传芳军驻扎在苏北的徐州，以警惕奉军的南进。张作霖见此情形，大为震动，拟率东北军南下收复失地。但恰在此时发生了郭松龄倒戈事件，令张作霖措手不及。
而令郭松龄料想不到的是冯玉祥的国民军背信弃义。其国民第一军张之江部乘虚进攻天津，逐出了直隶督办李景林。与此同时，国民第三军孙岳部出击保定、大名一带，向李景林部发起攻击。李景林招架不住，向张宗昌求救，以让出直隶地盘为条件，组成直鲁联军，张宗昌为总司令，李景林为副司令，褚玉璞为前敌总司令，统率大军向津、京方面猛扑。战事方兴，以荷兰驻北京公使为首的八国公使团，向段祺瑞临时执政提出声明：“根据《辛丑条约》的规定，中国军队不得在天津附近作战。”因此，国民第一军张之江部于1926年4月由天津向南口方面撤退。褚玉璞跟踪追击，进入京畿。之后，段祺瑞根据张作霖的建议，免去了李景林的直隶督办的职务，由褚玉璞代之。褚玉璞为第七方面军，与张宗昌的第二方面军合组为联合军团。张宗昌和褚玉璞分任军团长。
据冯玉祥后来回忆：“这种莫名其妙的战争，循环无穷，要打到哪天才算了结？这样的退而自思，一切的痛心难过，都使我归结到学识不足、办法不够一点上。我必须跳出国内的漩涡，出国去好好考察学习一番，同时希望大家都能痛定思痛，毅然悔悟，赶快化除仇怨，停止祸国殃民的内战。”这样，冯玉祥就把西北边防督办交给了察哈尔都统张之江署理，把甘肃督办交给李鸣钟署理，所有西北军全部由张之江指挥。1926年1月，他发表主和息争的通电，下野出国赴俄去了。
冯玉祥在赴俄途中加入了中国国民党。
吴佩孚已经同张作霖私下密议讨冯，就以讨贼联军总司令的名义，免去了同孙传芳有瓜葛的靳云鹗的本兼各职，由他的亲信田维勤继任。这引起了孙传芳的不满。孙传芳反对吴佩孚对靳云鹗的做法，也更加反对吴佩孚和张作霖言归于好，因此，与吴佩孚决裂。
吴佩孚一意孤行，不在乎孙传芳的反应。他于2月2日联名萧耀南、齐燮元发表讨冯通电：“冯玉祥狡称下野，伏处平地泉(集宁)，密集饷械，特集师讨伐。”他统率四个旅的兵力北上，与张作霖协力讨伐冯玉祥。
2月6日后，国民第一军张之江部和国民第三军孙岳部等通电应战，讨伐吴佩孚。国民第一军为避免同吴佩孚的军队正面接触，迅速退居长城脚下的南口，严阵以待。南口大战即将爆发。但这时在北京的段祺瑞临时执政，却度日如年。
现在张作霖和冯玉祥形同水火，两不相容。冯玉祥通电下野，意欲采取此法，罢兵息争。也有人认为，他这是金蝉脱壳之计。所以，吴佩孚和张作霖，并没有因为他的出国，而停止军事行动，照旧我行我素。他们的大军向北京逼来。段祺瑞执政府已处于风雨飘摇之中。
前文略微提到，八国公使团向段祺瑞政府提出抗议一事。原来，1926年3月12日，两艘日本军舰在前，掩护奉军数艘舰艇，强行驶入大沽口。驻守大沽口的国民军命令日舰停止前进，日舰置之不理，并向炮台开炮，国民军伤亡12人。国民军被迫还击，将日舰逐出大沽口。这就是“大沽口事件”。
3月13日，日本政府向段祺瑞政府提出抗议。3月16日，以荷兰公使为首的八国公使，向段祺瑞政府发出最后通牒。要求大沽口至天津间，必须停止战争行为。本来，3月以来，全国各地就爆发了反对帝国主义反对封建军阀的游行示威活动。这次面对帝国主义的最后通牒，在李大钊的倡导下，北京的200多个团体开会，要求北京政府严正驳斥八国通牒。3月18日，北京的学生数千人举行示威游行，反对八国通牒。游行队伍到达执政府所在地铁狮子胡同时，遭到卫队的枪击，死亡47人，受伤200余人。这就是震惊中外的“三·一八惨案”。
事件发生后，段祺瑞为卫队开脱，说卫队是为了“自卫”，还说：“我不但不惩罚他们，我还要赏他们呢！这一群土匪学生……”广东国民政府于3月27日，发出了《驱段宣言》。4月11日，段祺瑞躲到东交民巷。20日，段祺瑞派胡惟德代理内阁总理，摄行执政职权。他则去天津避居。
这是段祺瑞的最后一次下野。从此，他便离开了政治舞台。
国民军被迫退出北京，段祺瑞被逐避居天津，吴佩孚开始登场表演。吴佩孚入京后，便任命王怀庆为京师卫戍总司令，负责维持北京治安。根据吴张的密约，组建北京政府，由吴佩孚主持，张作霖不加干涉。但是，在如何组建北京政府上，两人发生了意见分歧。吴佩孚决定恢复曹锟当政时的宪法，要曹锟通电补行辞职手续，以便由1924年9月曹锟所任命的颜惠庆内阁摄行总统职权。这是护宪而不拥曹的一种做法。吴佩孚此举旨在把颜惠庆作为傀儡，由他做真正的幕后总统。
但是，张作霖反对这个主意。因为张作霖曾经起兵讨伐过曹锟的贿选，当年的颜惠庆又曾部署过讨伐奉军的命令。如果承认这个摄政内阁，张作霖就等于承认当年讨伐曹锟为叛逆行为。这是张作霖不能容忍的。张作霖的内心想法，是恢复约法，召集新国会，并推荐他的亲家靳云鹏组织摄政内阁。他本人则从后台操纵。
吴张之争，表面上是法统之争，实质上是谁掌握国家最高权力之争。为了弥合分歧，吴佩孚派齐燮元、王怀庆，张作霖派张学良、李景林、张宗昌，于4月25日在北京召开会议。但这次会议没有解决任何问题。
4月26日，张学良回到沈阳请示张作霖。经研究决定，先解决军事问题，后解决政治问题。因为国民军近在咫尺的南口，威逼京畿。
5月1日，吴佩孚采取了先发制人的做法。他代曹锟拟就了补行辞职的宣言，予以通电发表。内称本人因病辞职，“国务院自当复政，依法摄行大总统职务”。这个法，当然是曹锟所公布的宪法。这个电报是对奉系的突然袭击。张作霖非常不满。
5月2日，张学良回到北京。次日，即请齐燮元将奉方主张召开各省政治会议的意见，转达吴佩孚。同时，奉系透出口风，组阁人选以靳云鹏最适宜。
但是，吴佩孚固执己见，我行我素。吴佩孚的背后是西方帝国主义，张作霖的背后是日本帝国主义，他们都不是孤立的。此时，五省联军总司令孙传芳忽然改变对吴佩孚的态度，称呼“我帅”。4月20日，他通电主张颜内阁复职。5月3日，以孙传芳为首的苏闽浙皖赣五省军阀联名通电，重申此项意见。他们联名电请吴佩孚“早日北上，主持大计”。这是旧直系军阀在政治问题上联合起来反抗奉系的表现。5月5日，北方元老王士珍、赵尔巽提出折中办法，可以让颜惠庆先复职，然后再任命新总理。张作霖迫于形势，不得不表示同意，答复吴佩孚说：“此事悉请我兄主持，放手去办，弟毫无成见。”这是不得不说的假话。吴佩孚把假话当成真话听，复电说：“承嘱放手进行，即当勉副尊意，转达骏人(颜)，请其早日摄政。”9日，颜惠庆通电承认复职。
5月12日，颜惠庆宣布依法复职。13日，任命了内阁阁员。这是一个以吴系为核心的亲西方的内阁，奉系只有内务总长郑谦和陆军总长张景惠两席。14日，张学良、张宗昌回到沈阳参加奉系高级会议。会议决定，奉系阁员均不参加内阁活动，对内阁采取不闻不问的态度，但在军事上仍然和吴佩孚合作。
吴张合作只是相互利用的关系，内心没有任何诚意。可是，吴佩孚却向报界自我解嘲地说：“我和奉张就像初婚的夫妇一样，偶然拌几句嘴是免不了的。日子一久，我们的感情就会一天天浓厚起来。”
6月4日，张作霖启程入关。次日，到达天津，立即召开奉系高级将领会议。决定请吴佩孚主持南口战事，以直鲁联军为辅，奉军专任多伦一面。关于与吴佩孚会面的问题，决定分为两个步骤：第一步双方互派代表在天津举行预备会议，商定合作大纲；第二步再到北京见面，仅叙兄弟结义之情。
6月8日，吴方代表张其锽、张志潭与奉方代表郑谦、张景惠在天津会谈。奉方露骨地反对颜内阁，并称奉军讨冯军费用去4000万元，直鲁联军也用去3000万元，应由北京政府偿还。这显然是给颜内阁出难题，逼迫他们下台。9日，张作霖又加派杨宇霆参加会谈。奉方要求吴方交还魏益三军的军械。因为魏军原由郭松龄统率，后来改投冯军。冯军退走后，被吴方收编。现在仅仅要求退还军械，意思是很给面子的了。而吴方对直鲁联军强迫改编唐之道师，也很不满。总之，即使在军事问题上，吴张双方也是貌合神离，矛盾重重。
在张作霖的逼迫下，颜惠庆内阁于22日举行了第一次内阁会议，也是最后一次会议。会议对颜惠庆的辞职照准，改派杜锡珪为代理内阁总理。会后发出两个电报，一个是欢迎吴张两帅入京，一个是通告解除颜惠庆的职务。张作霖达到了让颜内阁倒台的目的。
这时张作霖认为入京的时机成熟了。26日，北京军警当局动员宪兵、保安队和步兵三团，在顺承王府至东车站一带实行紧急警戒。沿途步哨背向街心，横枪作态，并且动用了机关枪、迫击炮等武器，一色都做实弹准备。东车站则由奉军旅长富双英担任临时戒严司令，戒备更为森严。下午5时，张作霖的专车抵京。月台上只许王怀庆、张学良、张宗昌三个人通行。一切欢迎人员都被阻于车站栅门外。张作霖下车后，即与随员分乘50余辆轿车驶往张作霖在北京的驻地顺承王府。风头十足，俨如皇帝。
吴佩孚也不示弱。27日，他由保定启程，所乘列车多达44辆，并派两架飞机保护。张其锽算了一卦，认为28日进京大吉。吴佩孚就在长辛店停车一宿，28日才到达北京。
28日上午9：30，张作霖到吴佩孚的行馆拜访。吴佩孚降阶握手迎入，谈话仅20分钟即行告辞。12时，吴佩孚到顺承王府答拜。张作霖开口闭口亲热地叫吴佩孚为吴二哥，叫得吴佩孚五迷三倒。同时，他们又合影留念。
随即二人偕同到居仁堂去赴杜内阁的庆功宴。在宴会进行中，忽然“橐”地一声，张吴两人的随行人员都紧张地拔出手枪来，后来才弄清楚，这是顾维钧所戴的大礼帽从衣架上掉落下来的声音，大家才十分尴尬地坐下来。当晚吴佩孚回到长辛店，次日张作霖回到天津。
他们这次见面也谈了一些具体问题。关于内阁问题，双方同意暂时维持杜代阁，等到军事结束后组织正式内阁时再议；关于军事问题，推吴佩孚全权主持。参加进攻南口的奉鲁军，一律归吴佩孚指挥。张作霖笑呵呵地说：“敝部悉听二哥指挥，我的部队就是你的部队。”
吴佩孚和张作霖这一回合的争斗，显然是吴佩孚失算了。吴佩孚的护宪计划成为空谈。但是，他也找到了心理平衡。回想六年前，大帅张作霖和他的上司曹锟在天津举行会谈时，他这个“小小师长”曾遭到张作霖的羞辱。而曾几何时，我吴佩孚也和你平起平坐了。咱们之间，呼兄唤弟，可以拍拍肩膀了。吴佩孚感到从未有过的心理满足。
但是，张作霖把进攻南口的难题交给他去解决了。吴佩孚不知是计，还在暗自庆幸得到了这块难啃的骨头。他想表现一下自己军事家的才智。
南口位于北京的西北部，在京绥线上。它山岭丛脞，居高临下。有居庸关和八达岭为其天然屏障，是进入察哈尔的必经之路。国民军在这里特别经营，构筑工事，设置坚障，可攻可守，伺机观察，以图再举。这里距离北京仅一步之遥，对北京构成了严重威胁。要想打击冯玉祥的国民军，南口之战不可避免。
国民军总司令张之江坐镇张家口，将其主力向察绥地区撤退，借以保存实力，巩固察、绥、陕、甘等省地盘。并企图入侵山西，将西北连成一片。国民军以鹿钟麟为前敌总指挥，驻怀涞县城内，以抵拒进攻南口之敌。
当时，山西督办阎锡山处于冯玉祥西北军的包围之中。他知道，冯玉祥无时无刻不想吃掉他。阎锡山为了自保，同张作霖和吴佩孚结成了三角同盟。山西多年来闭关自守，对外宣传“村治”。晋军的战斗力不强。冯军退至柴沟堡、丰镇一带，相机欲对晋军采取攻势。5月18日，冯军开始向晋军发起进攻。21日，阎锡山到大同督战。但当时吴张二军并没有动作，致使晋军吃亏不小。
冯军除在西路对晋军展开攻势外，在东路与直鲁联军于南口、昌平一带对峙。还有一部退往陕西，与刘镇华的镇嵩军进行着西安的争夺战。因此，当时的国民军是在三个战场上同时进行战争。这对国民军十分不利。
奉军在张作霖的调遣下，很快对南口的冯军采取了三面大包围的态势。奉军的第三、第四方面军团由张学良、韩麟春统率所部，从奉天境内出发，迅速到达北京，分驻于城内和四郊，对南口的冯军施加压力。
奉军一部从南口东部绕至其东北部，向察哈尔的延庆进攻，包抄其后路。此外，黑龙江督办吴俊升统率大军，骑兵从四洮路，步兵从阜新，经由热河的开鲁、林西，向察哈尔的多伦猛扑。热河都统宋哲元不敌，向多伦方向退却。这样，奉军就形成了对南口冯军的北、东、南三面大包围的态势。
冯军退往南口后，直鲁联军推李景林为前敌总司令，褚玉璞为前敌总指挥，进驻昌平、沙河一带，与京汉线上的吴军相约同时进攻南口。但由于吴军的靳云鹗与冯军暗通款曲，使得吴军止步不前。此事被吴佩孚发现，将靳云鹗撤职，才使奉吴两系相互谅解。同时，奉军己方，直鲁联军的李景林欲脱离奉军，单独行动。其部下荣臻、胡毓坤两军长均不赞成，而向张作霖揭发了李景林的行为，并坚决表示不脱离奉军。张作霖深表嘉许，优礼相待，并将其所部收编为第十六、第十七联合军，仍由二人分任军长。李景林的异动没有成功，反而失掉了两个军的兵力。