奉系军阀在第一次直奉战争失败后，在东北地区积极经营储备武力，以图东山再起。为了壮大声势，并与粤、浙结成同盟，共同对付直系政权。
1924年9月3日，江浙战争爆发，张作霖即以粤、浙同盟关系，于9月4日发表通电，谴责曹、吴政府，并以援助卢永祥为由，组织“镇威军”，向山海关、热河一带增兵。张作霖自任“镇威军”总司令，将所属部队共25万人编为6个军，以姜登选为第一军司令，出兵山海关；以李景林为第二军司令，由锦县攻朝阳；以张学良为第三军司令，会同姜登选部，攻山海关九门口；以张作相为第四军司令、吴俊升为第五军司令，作为援军，部署于锦州、兴城、绥中一带，防止直军从海上登陆，并随时策应两翼作战；以许兰州为第六军司令，由西面的开鲁攻打赤峰，而后向承德开进。
9月13日，京奉线火车停驶。15日，奉军分兵两路向榆关和朝阳出发。同日，张作霖向曹锟发出挑战电称：“日内将派员乘飞机赴京，藉候起居。”
曹锟接到张作霖从奉天发来的挑战书后，便急如星火地电召吴佩孚迅速到京主持作战工作。9月17日，吴佩孚由洛阳赶赴北京时，直系大将冯玉祥、王怀庆等和全体阁员以及北京城的高级文武官吏都到车站排队恭迎。当日，曹锟发布讨伐张作霖电令，任命吴佩孚为“讨逆军总司令”，将所属部队共17万人，分3路出兵。其兵力部署为：以彭寿莘为第一路军司令，出兵山海关；以王怀庆为第二路军司令，出兵赤峰口；以冯玉祥为第三路军司令，出兵古北口。另设十路援军，分别以曹、胡景翼、张席珍、杨清臣、靳云鄂、田维勤、张治公、李绍云、潘鸿钧、谭庆林为司令，随时准备投入战事。
在奉军发动进攻之前，直军主力第一路军已开进榆关中立区。吴佩孚派温树德率领渤海舰队两度由秦皇岛进攻葫芦岛。奉军将领沈鸿烈率领东北舰队加强沿海防务，使直军海上进攻计划始终未能得手。奉军的空中力量优于直军，因此，奉军飞机先后在榆关和秦皇岛一带投弹轰炸，破坏直军的阵地。
9月15日，奉军分两路进攻热河。热河都统米振标部和前去增援的王怀庆部第十三师，是三路直军中兵力最弱的一部。自15日至22日，奉军一路进展顺利，接连占领开鲁、朝阳并开始向凌源发起攻势。同时，在榆关中立区，奉直两军主力开始发动战争。20日，张作霖邀请沈阳领事团的教士传话，除表示尽力保护中立区侨民安全外，并称因战争需要将派飞机前往秦皇岛轰炸直军的大本营。因此，请外国侨民先行撤离战区，由榆关到秦皇岛的外国舰队也请先行离开。
这时，直军第三路军的战斗任务是由古北口、喜峰口一线向平泉开进，会同第二路军进攻奉军的侧面。但是，第三路军的行动比较迟缓，9月23日，冯玉祥才与陕军师长胡景翼率部离开北京。走到怀柔时，部队又停顿下来，借口交通不畅，叫士兵一面修路一面开进，因此，行动更加迟缓。此时，热河方向战况十分紧张，奉军已突破直军的东部防线，正向承德开进。吴佩孚连连电催第三路军迅速开赴前线阻敌，并派“讨逆军”副总司令王承斌前往承德指挥第二、第三路军联合作战。
奉、直两军主力在榆关地区相峙数日后，自9月28日起战事转趋激烈。直军处于守势，居高临下，占据地理优势。但是奉军精锐部队第三军在张学良、郭松龄的指挥下，前仆后继，奋勇仰攻，双方死伤惨重。10月7日，在奉军的强烈攻势下，直军力不支敌，九门口被奉军攻破。直军第十三混成旅旅长冯玉荣见守城无望，畏罪自杀。
由于榆关前线形势危急，吴佩孚急调后援部队迅速开赴前方，自己也于10月11日离开北京出发到滦州坐阵。12日，吴佩孚前往榆关巡视战况，亲自督阵，使直军前方的形势得以稳定下来。
榆关激战之时，热河战线的奉军于10月9日占领赤峰，15日，直军第三路军争夺赤峰，不攻而克。原来，这一路的奉军已奉命向输关秘密移动，攻占赤峰的目的不是占领，而是为了调动直军。
奉军将主力集中在榆关一带，发动全线猛攻，先后又攻占了石门寨、山海关，于10月17日开始进入关内。吴佩孚凭关据守的作战企图失败后，率部退至秦皇岛，又以舰队运兵3万余人，向榆关方向增援，企图挽救直军的颓势。但是，由于此时冯玉祥秘密率部回师北京发动政变，遂使直军士气大伤，吴佩孚原定的作战计划全盘打乱。
事实上，在第二次直奉战争刚刚发动的时候，冯玉祥、王承斌、胡景翼、孙岳等人就设想了两种计划：一种是吴佩孚打胜了，他们就将自己的军队集中到榆关，阻止吴军回来，同时逼迫曹锟任命吴为东三省的巡阅使，这是排吴不倒曹的计划；另一种是吴佩孚打败了，他们就回师北京，发动政变。这是曹、吴并倒的计划。10月15日，王承斌和冯玉祥在古北口会面时，预见了战争形势的发展将不利于吴。19日，冯玉祥接到总部参谋长张方严的急电，催促冯部按预定作战方案迅速发起攻势，以策应榆关方向的作战，电文中有“大局转危为安在斯一举”一句话。同时，冯玉祥看到战情报告，得知直军在榆关之战中损失惨重，已势衰兵竭。在此情况下，冯玉祥认为回师北京的机会已经到来，便电令孙岳迅速将驻防大名的军队调回南苑，同时下令所属部队将后队改为前队，即刻回师北京。
冯军沿途割断电线，封锁消息，并以昼夜兼程70公里的行军速度，迅速杀回北京。10月22日晚9时，冯军第八旅旅长李鸣钟、第二十二旅旅长陆钟麟两部率先开回北京。随后，陕军胡景翼师也开进通州，隔断了吴佩孚与京东方向的联系。
10月23日，陆军检阅使兼第十一师师长冯玉祥、陕西陆军第一师师长胡景翼、大名镇守使兼第十五混成旅旅长孙岳联名发出了呼吁和平的通电。在电文中，他们把直奉战争说成是吴、张两人的“私斗”，痛斥吴佩孚“凭战胜之余威，挟元首以自重，揽国柄以掌握，视疆吏若仆从，逞一人之忿，兴孤注之师……业经电请大总统明令惩警以谢国人，停战言和用苏民困”。冯玉祥在此采用了倒吴而暂不倒曹的办法，还想利用曹锟这个傀儡总统来收束前方的军事，以制止吴佩孚的反抗行为。
由于冯军秘密回师北京，曹锟在23日上午接到通电后才知道冯军回京。随后，孙岳率兵进宫，以保证“总统”的安全，同时，逼迫曹锟表态，给吴佩孚一个适当的名义让他体面下台。24日，内阁通过决议发表四道命令：一、停战言和；二、撤销讨逆军总司令等名义；三、解除吴佩孚的直鲁豫巡阅使及第三师师长等职；四、任命吴佩孚为青海垦务督办。
10月25日，公府卫队曹世杰旅(曹锟的子弟兵)被缴械，从此，曹锟便处于冯军的直接监视之下。同日，冯玉祥、王承斌、胡景翼、孙岳等人在北苑召开会议，决定组织中华民国国民军，冯玉祥为总司令兼第一军军长，胡、孙二人分任副司令兼第二、第三军军长。
另一方面，吴佩孚在榆关前线接到冯玉祥10月23日通电后，当时大吃一惊，但又疑心是张作霖捏造出来的假通电，以迷惑军心。24日，查明情况属实后，吴佩孚又寄希望胡景翼未必加入政变之事，即任胡为第三军总司令取代冯，并派张敬尧到通州传达命令。结果，胡景翼把张敬尧扣留起来。25日，一切真相大白，吴佩孚才心慌意乱地把前方作战任务交给张福来主持，自己率领第三、第二十六师各一部约8千余人乘车回救北京。26日，吴佩孚把司令部设在天津，军队到达杨村布防，对冯军采取守势，以待后援。
此时，吴佩孚惟一的希望就是调动齐燮元、孙传芳的军队由津浦路北上，调李济臣、萧耀南的军队由京汉线北进，两路夹击进攻北京。
北京政变后，津浦路成为直系军阀贯通南北的主要交通线，而山东督理郑士琦，是一个对直系怀有敌意的皖系军阀。在这种情况下，吴佩孚如果放弃榆关停止对奉系的战争，把全部兵力调到津浦路上来，就有可能控制这条交通要道，以便与山东、河南、江苏、浙江各省的直系力量连结起来，使自己战败后转入到一个进可以取、退可以守的机动地位。可是，吴佩孚没有考虑到这一点，仍把主力摆在榆关不动，自己仅抽调少数兵力回救北京。而此时，榆关直军因为北京发生政变而军心动摇，已不可能与声势方张的奉军相抗衡。
在此期间，由于北京政变后情况不明，各省直系军阀对吴佩孚还存有幻想。因此，在10月26、27日，萧耀南、齐燮元、孙传芳、马联甲、周荫人、杜锡、蔡成勋、杨树庄等人纷纷发出了助吴讨冯的通电。萧耀南派出陈嘉谟师、寇英杰旅；齐燮元派出陈调元师；孙传芳派出孟昭月、张允明两旅；马联甲派出田锦章旅等，分别由津浦、京汉两路北上拔吴。
但是，各省援直军尚未开动，冯玉祥、胡景翼的军队即已到廊坊，准备进攻天津。此时，在天津做寓公的张绍曾，看到吴佩孚的地位十分危险，便充当中间人，奔走于北京和天津之间，协调冯、吴言和。这种调停仍无效果。
10月28日，榆关战事发生急剧变化，由平泉、冷口入关的奉军张宗昌部，从翼侧占领滦州，截断了榆关直军的归路和榆关与天津之间的交通干线，因此，榆关的直军土崩瓦解，从榆关溃败下来。31日，奉军占领了榆关和秦皇岛。缴获了直军枪支3万余支，吴佩孚多年经营的直军主力至此也已基本瓦解。
至此，第二次直奉战争从9月15日起到11月3日止，一共打了50多天，以直军主力的全部覆灭和吴佩孚的狼狈遁逃而告结束。
两次直奉战争，都是吴佩孚和张作霖之间的战争。第一次直奉战争，吴佩孚打败了张作霖；第二次直奉战争，张作霖打败了吴佩孚。他们两人是不共戴天的冤家对头，张作霖怎么能够和吴佩孚联合起来讨伐冯玉祥呢？原来，民国期间的军阀之间，无所谓真正的朋友，也无所谓真正的敌人。他们的分聚离合，完全是以个人的私利为前提。对自己有利时，可以和往日的敌人联合为友；对自己不利时，可以和自己过去的朋友反目成仇。
现在，他们有了一个共同的敌人，就是冯玉祥。
冯玉祥是吴佩孚的敌人，自不待言。第二次直奉战争，如果不是冯玉祥的倒戈，吴佩孚也许不会遭到惨败。由于冯玉祥、胡景翼、孙岳结成的反吴三角同盟的作用，冯玉祥的倒戈相向，使得吴佩孚一败涂地。1924年11月3日，吴佩孚含泪率残部5000余人，在塘沽乘上“华阳”舰，浮海南下去了。
11月7日，吴佩孚到达烟台。段祺瑞的门生山东督理郑士琪监视其行动。吴佩孚企图在青岛登陆重返洛阳，被郑士琪拒绝。
12月中旬，吴佩孚抵达南京。部将齐燮元迎接，但吴佩孚不敢登岸，怕有生命危险。
12月17日，吴佩孚到达汉口。在武昌，他纠集十省区代表，宣布成立护宪军政府，代表中华民国，行使一切权力。遭到武汉各团体的通电反对。
吴佩孚旋即离开武汉赴郑州，后又辗转来到湖南岳州。在岳州，他大事活动，企图东山再起。他的活动初见成效，岳州已门庭若市，冠盖云集了。他打出的招牌是反奉。1925年10月20日，受到张作霖威胁的长江流域的直系军阀联合起来，由苏皖赣闽浙五省联军总司令孙传芳领衔，萧耀南等20人参加的直系将领，发出通电，敦请吴佩孚出山，共同讨伐张作霖，并推举吴佩孚为14省讨贼联军总司令。10月21日，吴佩孚抵达汉口，就任14省讨贼联军总司令职，担当起主持军国大事之重任。
吴佩孚声称讨贼，但这个贼，在吴佩孚的心中有两个，一个是张作霖，另一个是冯玉祥。而孙传芳当时只把威胁他的张作霖当作贼。起初，讨贼是指讨伐张作霖，后来一变而为联合张作霖讨伐冯玉祥了。
吴佩孚出山之后的进军计划，是假道河南，北攻直鲁，与东南联为一气，会师于京津。吴佩孚的战略目的是联张讨冯，但他将此计划暗藏于心。河南督办岳维峻是冯玉祥的国民第二军的军长，受冯王祥的指挥。岳维峻虽然迫于形势，参与了14省联盟，但他对吴佩孚始终抱有高度的警惕。他知道吴佩孚会睚眦必报的。为此，岳维峻听从了冯玉祥的警告，不准吴佩孚假道河南。这样，吴佩孚和冯玉祥的矛盾再一次大白于天下。
而1925年11月22日，郭松龄举兵反奉。冯玉祥所属的国民第二、三军不听冯玉祥的劝阻，违背签订密约的诺言，而乘机向奉军李景林部发起攻击。发起进攻的原因，一是孙岳所在陕西地区很是贫困；二是张作霖曾有驱逐王承斌出津之事；三是逼于李景林的压迫，不甘让步。于是，在郭松龄反奉之时，冯玉祥的国民第二、三军便猛烈攻击李景林。冯玉祥事后回忆：“但此时我仍屡次致电陕豫，说我与郭松龄已有密约，若有动作，必须商酌而行，万万不可造次。可是他们大利当前，即不顾大局，对我们的密约，完全不肯承认，竟一意孤行，冒昧地攻击保定。”如此，国民第二、三军就和李景林部正面冲突，而一发不可收拾了。冯玉祥虽然没有能帮上郭松龄，但他同郭松龄签订密约一事，却曝光于天下。张作霖闻之大怒，认为冯玉祥是反复无常的小人，必欲除之而后快。
这样，在反对冯玉祥这一点上，吴佩孚和张作霖找到了共同点。
还有，在1925年底至1926年初，在中国的封建军阀中，有所谓“中国反赤大同盟”的宣传。当时，中国民主革命的形势一片大好。1924年1月，中国国民党第一次全国代表大会在广州召开。这次大会代表共198人，其中加入国民党的中共党员代表有24人，包括李大钊、陈独秀、毛泽东、张国焘、李立三、李维汉等。大会最后形成了一个具有鲜明革命特点的宣言。这个宣言的起草，由共产党人动笔，代表了共产党人的一些根本观点。孙中山对宣言十分重视，非常审慎。这个宣言所坚持的各项原则，说明了孙中山新三民主义的形成。那就是“联俄、联共、扶助工农”的三民主义。这是新三民主义，是革命的三民主义。中国国民党和中国共产党实现了第一次国共合作。由于两党的合作，取得了两次东征的胜利，工农群众运动得到恢复和发展。南方的革命形势蓬勃发展，广东革命根据地更加巩固。
在北方，冯玉祥服膺孙中山的三民主义。他同苏联有了进一步的接触，在部队中吸纳了一些苏联顾问。先是苏联共产党员鲍罗廷，由人介绍，和冯玉祥经常接触。他们在一起谈论中国如何争取自由平等的问题，关系越来越亲密。冯玉祥就请他从苏联请来三四十位顾问，步骑炮等各项专门人才皆备，分在他的各种训练班中任教。由于冯玉祥的特立独行，被人们称为“赤化”将军。而他的国民军也被视为“赤化”军队。
张作霖和吴佩孚则坚决反对中国“赤化”，他们在反对共产主义这一点上又找到了共同语言。他们自称是所谓“中国反赤大同盟”的中坚力量。为此，他们也把矛头指向了冯玉祥。