在对各省军阀大演特演“武力统一”丑剧的同时，吴佩孚还彻底地撕下了“保护劳工”的假面具，用武力对手无寸铁的工农群众大加镇压。其中最著名的，就是他对京汉铁路罢工工人的血腥屠杀，制造了震惊中外的二七惨案。
总之，在独占北京政府的控制权之后，短短的两年多时间里，直系就成了全国公敌。全国性的反直声浪预示着直系军阀的末日即将来临。张作霖瞅准了这个机会，于1924年9月向直系发起进攻，第二次直奉战争正式爆发。
在第二次直奉战争开始前的9月初，首先发生了江浙战争。直系的江苏督军齐燮元，为了争夺上海地盘，向皖系的浙江督军卢永祥发动进攻。齐燮元的背后靠山是曹锟、吴佩孚，而卢永祥则早已同张作霖和孙中山结成了“三角同盟”，江浙战争实际上成了第二次直奉战争的导火线。
江浙战争的爆发，给张作霖讨直提供了借口，战火点燃后的第二天，张作霖即以十分强硬的措词致电曹锟。他说：“今年天灾流行，饥民遍野，弟尝进言讨浙之不可，足下亦有力主和平之回答；然墨迹未干，战令已发，同时又进兵奉天，扣留山海关列车，杜绝交通，是果何意者？足下近年为吴佩孚之傀儡，致招民怨……弟本拟再行遣使来前，徒以列车之交通已断，不克入京。因此将由飞机以问足下之起居，枕戈以待最后之回答。”接着，张作霖又召开紧急军事会议，作出派兵入关，组织所谓的“镇威军”，援浙反直的决定。会后，张作霖还宣布，他将自任镇威军总司令，亲率25万大军出战。
在张作霖决定援浙反直的同时，孙中山也公开宣布讨伐曹锟、吴佩孚，援助浙江卢永祥。他说：“援浙即以存粤。”至此，整个“反直三角同盟”全部动员起来。
曹锟在北京接到张作霖挑战电报后，十分紧张，忙向吴佩孚连发几封十万火急的电报，要吴佩孚速速来京主持对奉作战。吴佩孚不敢怠慢，于9月17日由郑州乘车进京。曹锟见吴佩孚到来，心中石头落了地。他对吴佩孚说：“老弟，我已经老了，辛苦你摄行海陆军大元帅的职权，一切便宜行事。”一向自命不凡的吴佩孚，得到曹锟的授权，也不谦让，立即行使起指挥权来。
抵京的次日，吴佩孚便在他的住所中南海调兵遣将。他把参与作战的直系军队组成所谓的“讨逆军”，自任总司令，以王承斌为副总司令兼直隶后方筹备总司令。吴佩孚的具体部署是，分兵三路迎敌：第一路，以彭寿莘为总司令，统率曹锟、吴佩孚的嫡系主力，布阵于山海关、九门口一线；第二路，以王怀庆为总司令，统率原驻热河各部直军，布阵于热河南线；第三路，以冯玉祥为总司令，率其本部人马出古北口布阵于热河北线。此外，吴佩孚还把其余各省的直军组织起来，号称十路援军，并分别以曹钅“英、胡景翼、杨清臣、张席珍、靳云鹏、阎治堂、张治公、李治云、潘鸿钧、谭庆林为十路援军司令，而以张福来为援军总司令。”
点兵后，吴佩孚表现得信心十足。他对赶来采访的各国记者夸口说：“我出兵20万，两个月内一定可以平定奉天。张作霖下台后，他的儿子张学良可以派送出洋留学。所有外国人在东三省南满铁路的权利，我们都予以尊重。”
与此同时，约25万奉军也按张作霖的部署，分三路向关内进发。第一路，由姜登选、韩麟春指挥的第一军和由张学良、郭松龄指挥的第三军组成，向山海关、九门口一线挺进；第二路，由李景林、张宗昌率领的第二军组成，担任热河南路的作战，由北镇出朝阳，经凌源，向喜峰口进攻；第三路，由吴俊升指挥的第五军和许兰洲指挥的第六军组成，担任热河北路的作战，由通辽出开鲁，经赤峰南下承德，或西至多伦，从喜峰口以西各口入关。此外，张作相、阚朝玺率领的第四军则驻在锦州，作为奉军的总预备队。奉军的战略重点是在山海关、九门口一线。但是，由于热河方面直系兵力较为薄弱，同时也为了预防直军以重兵出朝阳，威胁锦州，切断奉军后路，奉军首先在热河方面发动进攻，占领热河，待热河南北两线的部队进至长城一带，与山海关、九门口一线齐平时，奉军主力再在山海关、九门口一线发动进攻，打击直军。
从直、奉出动的兵力和部署来看，无论是在兵力、武器装备和军队士气方面，还是在战略战术方面，奉军都占优势。但直军，特别是部署在山海关、九门口一线的直军，在吴佩孚的亲自指挥下，实力也不容小觑。
9月17日，第二次直奉战争正式打响。奉军首先在热河方面发动进攻，到9月下旬，奉军担任热河南线作战的第二军，在李景林、张宗昌的率领下乘虚而进，先后占领了朝阳、建平、凌源，其先头部队已抵达冷口附近；担任热河北线作战的另一路奉军，即吴俊升率领的第五军和许兰洲率领的第六军，也顺利地占领了开鲁，正向赤峰挺进。当热河方面的奉军进至长城一带，与山海关、九门口一线齐平时，奉军主力便按原定计划在山海关、九门口一线发起大规模的进攻。
由于直军也将主力集中在山海关、九门口一线，故奉直双方在这里的战斗十分激烈。
在山海关和九门口之间有一名曰“角山寺”的大山。由于此山相隔，山海关和九门口实际上被分成了两个战场。在山海关正面作战的奉军，是张学良和郭松龄的第一军第二、第六两个旅，在九门口及其以西、以北作战的奉军，则为姜登选、韩麟春的第三军两个旅。为了统一指挥，第一、三两军成立了联军指挥部。发起进攻后，两个战场都打得相当激烈。
在山海关正面，奉军在郭松龄的指挥下，首先猛攻五眼城、娘娘庙一带直军阵地，但凭险据守的直军第十五师顽强抵抗，给奉军极大杀伤。奉军虽有飞机助战，又有极猛烈的炮火，却始终无法突破直军防线。
在山海关正面战场力攻不克的情况下，张作霖命令九门口战场的姜登选、韩麟春率部猛攻。一番激战后，奉军第十六旅的孙旭昌团，首先突破黄土岭的直军阵地，从侧面对九门口的直军阵地造成巨大的威胁，直军防线开始动摇。随后，奉军又从正面、侧面同时猛攻，直军终于不支，九门口遂被攻破。接着，奉军又一鼓作气，攻下石门寨，直军守将冯玉荣畏罪自杀。直军陷入被动。
战前，吴佩孚制定的计划是，以主力在山海关、九门口一线吸引住奉军主力，而以冯玉祥部直捣热河，以迂回态势威胁锦州，同时再以精锐直军由海路运抵绥中、葫芦岛一带登陆，切断奉军退路，奉军将成瓮中之鳖。奉军攻破九门口、石门寨后，吴佩孚的如意算盘完全落空。此时奉军既可切断直军后路，也可直取秦皇岛，从侧面包抄直军。吴佩孚为避免形势的进一步恶化，不得不急调部队增援，并被迫放弃了从海上登陆绥中、葫芦岛的计划，而将准备登陆的部队调来，用于石门寨的反攻。
然而，真正给直军以致命打击的是冯玉祥部的突然倒戈。
战争开始后，按照吴佩孚的部署，冯玉祥部应出古北口，经承德，向热河北路进击奉军，冯玉祥对这一部署十分不满。他认为，吴佩孚是有意要把他挤出京、津地区，到荒僻的热河去。因此，从一开始他就十分消极，打算伺机采取倒吴行动。吴佩孚也察觉到冯玉祥有异心，故命胡景翼部尾随冯玉祥部，一旦冯部异动，便就地解决。吴佩孚还派王承斌作监军，对冯玉祥进行监视。但吴佩孚没有料到，胡景翼早已同冯玉祥串通一气，而王承斌也对吴佩孚不满，他明知冯玉祥将有所举动，却对冯玉祥表示同情，不加阻拦。
另一方面，战争一打响，张作霖、段祺瑞便在日本人的暗中支持和直接参与下，加紧对冯玉祥进行策反。
野心勃勃的日本军部，不顾日本政府的“谨慎”态度，大力帮助张作霖和段祺瑞。他们认为以英、美为背景的直系若胜，日本在华势力“将从中原一扫而光”。参谋总长上原勇制定了一套对冯玉祥策反的计划。第二次直奉战争前后，一方面，上原让退役陆军大佐寺西秀武实施策反计划。寺西先密电段祺瑞，催促他振作起来，联奉反直。段祺瑞果然派吴光新赴奉天，与张作霖密商反直大计。接着，寺西亲往奉天，劝张作霖联段拉冯反吴。离开奉天后，寺西又到天津，同段祺瑞密议拉拢冯玉祥的具体办法，张作霖也派自己的日本顾问町野武马赴津，参与策划；另一方面，军部和上原又指派日本驻华公使馆武官林弥三吉，做冯玉祥的工作。林弥得知冯玉祥请了著名的亲日派黄郛当自己的政治顾问，便选定黄郛充当他联络冯玉祥的中间人。他指使与黄郛十分熟识的铃木贞一少佐和给曹锟的总统府当顾问的坂西利八郎的部下土肥原贤二中佐与黄郛接洽，动员冯玉祥采取行动反吴。大约在9月间，土肥原向黄郛提供了一份从总统府窃取的秘密情报，该情报反映了曹锟和直系向美国求援的情况。土肥原敦促黄郛利用这一情报，鼓动冯玉祥断然起事。
在林弥等人开展活动的同时，段祺瑞的代表也同冯玉祥进行着秘密谈判。据说，冯玉祥要求提供一笔巨额经费。张作霖得知后犹豫不决，但段祺瑞和张作霖的日本顾问松井七夫却力劝张作霖答应下来，并立即拨付。日本方面还表示，这笔款子可由南满铁路公司以张作霖在内蒙大片私人地产作抵押，借给张。张作霖得到贷款后，即让自己的日本顾问松井通过日本三井银行奉天分行，将支票转给天津的日军司令吉冈显作，吉冈再转给段祺瑞。段祺瑞派段祺树、王乃模会同林弥三吉的下属松室孝良少佐，秘密地将款子送到冯玉祥的手中。
这笔巨款对财政拮据的冯玉祥如同雪中送炭，促使冯玉祥下决心倒戈。不过，何时起事更有利，冯玉祥却不能不慎重考虑。10月中旬，冯玉祥听说石门寨的直军阵地被奉军攻破，战争形势对直军日趋不利时，他认为倒戈的时机已到，决定动手。起事前，他又借口报告所部情况，给吴佩孚发一电报，目的是想核实一下山海关前线的形势。吴佩孚当时因处境不利，非常着急。他让参谋长张方严给冯玉祥复电说：“此间形势危急，不有意外胜利，恐难挽颓势。”吴佩孚还催促冯玉祥按原计划迅速前进，并说：“大局转危为安，在此一举。”冯玉祥立即意识到，直军在山海关前线确已陷入被动，便下决心实施兵变。
大约在10月20日左右，冯玉祥命令已开至通县、喜峰口的胡景翼部立即掉头，星夜南下，占领京奉铁路的军粮城、滦州一带，防止吴佩孚部南归；命令第二十二旅旅长鹿钟麟所部改后队为前队，以一昼夜200华里左右的速度急行军，返回北京；又命令已抵达承德的张之江、宋哲元两旅也班师回京。由于事先计划周密，加之北京城内直军兵力十分空虚，冯军进展颇为顺利。10月22日，鹿钟麟部即在孙岳的配合下顺利进入北京城，占领了电报局、电话局和车站等重要地点，接收了全城的防务。第二天，鹿钟麟又派兵包围了中南海总统府，拘禁了大总统曹锟。10月25日，冯玉祥发表通电，宣布将所部改称中华民国国民军，他自任总司令兼第一军军长，胡景翼和孙岳任副总司令，并分别兼任第二军、第三军军长。冯玉祥的倒戈获得成功，史称“北京政变”。
冯玉祥发动的北京政变，给直系军队的打击是致命的。直到10月24日清晨，吴佩孚才得知冯玉祥倒戈的消息，他顿时吓得目瞪口呆，乱了方寸。
与此相反，北京政变对奉军来说，则是振奋军心的喜事。正在山海关、九门口一线与直军苦战的奉军备受鼓舞，士气大增。为了乘机迅速击败这一带的直军主力，第一、三军联军指挥部将山海关正面的郭松龄部抽调到九门口、石门寨，向秦皇岛出击，截断直军后路。奉军的行动再次得到日本方面的支持。前线奉军一度子弹告急，日军拨出4000万发子弹供奉军使用。处于困境的直军曾计划征集民用轮船十几艘运兵奇袭营口或葫芦岛，日方侦悉后即转告奉军加以预防。在奉军的猛烈进攻下，直军终于全线崩溃，数万之众缴械投降。
在一、三联军出击秦皇岛的同时，奉军李景林、张宗昌部也分别由冷口、喜峰口入关，迅速占领滦州，并继续向天津挺进。
吴佩孚困兽犹斗，仍想采取补救措施，挽救直军败局。他一面通电讨伐冯玉祥，一面将山海关、九门口前线的指挥权交给张福来，自己则率直系的海军舰队退守天津，想在杨村、廊坊一带继续顽抗，等待他的十路援军。由于山东督军郑士琦宣布中立，山西督军阎锡山又出兵占领石家庄，津浦、京汉两条铁路都被隔断，外省的直系援军均无法北上。在走投无路的情况下，吴佩孚不得不于11月3日仓皇离开天津，由塘沽登舰，经海路南下，逃往长江流域。第二次直奉战争以奉系大获全胜而告结束。
张作霖获胜后来到天津，住进曹锟原来的私宅曹家花园，大发感慨地说：“都说君子报仇十年不晚，我张作霖不到三年就报了一箭之仇，连贿选总统的窝都叫我给端了，真是天助我也！”
捧段、抑孙、排冯
在第二次直奉战争中获胜之后，奉系的势力迅速膨胀。
战争后期，直系的20万大军被奉系解除武装，被俘虏的直军官兵基本上都被奉军收编，奉军的人马迅速扩大。仅张学良、郭松龄所部攻占秦皇岛后，就俘虏和收编了直军6万人左右，该部从原来的三个旅扩编为六个步兵师、一个骑兵师。张宗昌所部则发展得更快。吴佩孚的部下大多是山东人，吴佩孚失败后，其部下官兵都愿意投到同是山东人的张宗昌手下，仅仅几天时间，张宗昌部的兵力便猛增了七八倍。该部原有的中、下级军官，均升为将、校级。由于升官者太多，更换肩章一时来不及，许多军官只好以锡箔纸糊成黄色肩章暂代。李景林部也增加得很快，战争开始时仅两个旅，战后扩编至六个旅。奉军将领各自拼命扩大自己的实力，得到了张作霖的默许。但作为统帅，他更懂得千军易求，一将难得的道理，他亲自出面，从直军俘虏中搜罗人才。
战争期间，吴佩孚初以为直军必胜，不仅命令所有的作战部队统统出动，还把保定军校的数百名学员调到前线实地见习。直军失败后，这些学员也来不及撤退，被奉军悉数俘虏。战争结束后，这批当了俘虏的学员全被押解到奉天，临时集中在城外西北角的古庙太清宫中，听候处理。
一天，太清宫里突然来了帅府卫队的军官。他一到就把所有的被俘学员召集起来，传达张大帅的手谕。手谕说：“拟于）月）日在帅府宴请直军全体学生兵。”学员们听罢，十分震惊。他们以为，自己做了阶下囚，大帅还要宴请，哪有这样的好事？！这肯定是借宴请之名，行枪毙之实。即使真的给他们吃一顿，也是死刑前的“送行酒”。想到这里，学员们一个个无精打采，有些学员甚至哭了起来，悔恨自己不该进军校，年纪轻轻，便当了吴佩孚的替死鬼。稍为镇静一点的则开始写信、留言，整理衣物，安排后事。总之，被俘的学员队里呈现出一片痛苦与凄凉的景象。
预定赴宴的那一天到了，学员们被领到帅府的宴会厅。一看，一张张餐桌上果然铺着白桌布，摆着美酒佳肴。一些学员开始隐隐感觉到，大帅似乎没有歹意，真的是要宴请他们，但也有一些仍不敢相信，更多的则是疑惑不解，弄不清大帅的葫芦里究竟卖的是什么药。
学员们坐定不一会儿，就听一位副官喊道：“张大帅到！”受过训练的学员们立即站起来，向大帅立正致敬。身着青缎长袍的张作霖走进宴会厅后，没等大家重新坐定，就开口说：“他妈拉个巴子，我听说你们都怕我把你们杀了。错了，我张作霖可不是那种不讲义气的人！我早就知道你们这些人都是难得的人才，所以我才把你们统统请到奉天来，好好谈一谈。你们不是愿意报效国家吗？那何必跟曹锟、吴佩孚那帮小子瞎跑呢？今后愿意跟我姓张的一起干的，我亏待不了你们。愿留者，可连升三级，不愿留者，我也不勉强，发路费给你们，让你们回家。我说话是算数的。你们看到这些酒席了吧？就算是我张作霖给你们送行。”
听张作霖说得十分诚恳，学员们终于都相信了。反正到哪儿都是讨口饭吃，于是，绝大多数的人都表示愿意留在奉军里干，只有十几个人打算回家。张作霖很高兴，颇为大度地吩咐副官说：“要走的那些人，路途太远，多给他们一些路费，不能叫我姓张的太寒碜。”不料，张作霖这一手反使那些打算走的学员深受感动，他们对张作霖说：“蒙大帅如此厚爱，恩义深重，我等情愿誓死跟随大帅。”张作霖大喜过望，连声赞道：“好样的，有出息！”结果，所有的被俘学员全都留在奉军中，奉军平添了不少得力的中下级军官。
不过，对张作霖而言，眼下更重要的是如何控制北京政权，冯玉祥发动北京政变，幽禁了贿选总统曹锟以后，曾宣布由黄郛以代理国务总理的身份，摄行大总统的职权。黄郛只是个过渡性人物，而冯玉祥部虽控制了北京城，但因实力不强，他也不能单独作主，须与反直的其他各派，尤其是实力最雄厚的张作霖共商才行。张作霖亦自恃“老大”，当仁不让。
当战争善后诸事大致处理妥帖后，张作霖便准备亲赴津、京，与段祺瑞、孙中山、冯玉祥等人一起，处理中央政府的重建和其他重要的国家大事。临行前，杨宇霆、姜登选等人曾问他，当如何应付段祺瑞、孙中山、冯玉祥等人。张作霖胸有成竹地回答他们说：“你们放心，我会耍这一套，比不得军事非通过你们不可。耍这一套我比你们高明，你们可不要再管了。”张作霖所说的“这一套”指的当然是权术。确实，在搞政治权术方面，张作霖翻手为云，覆手为雨，非他人所及。
张作霖的考虑说白了其实也很简单，就是要由他来控制北京政权。为达此目的，他所采取的手段概括起来就是六个字：拥段、抑孙、排冯。