这让他对南方革命军多了一层好感，加深了认识和了解。冯玉祥在滦州起义时就同南方的革命力量发生关系，以后又结识了许多国民党人士。耳濡目染，对孙中山领导的国民革命逐渐加深了认识，并心向往之。特别是他读了孙中山的建国大纲之后，思想更发生了很大变化。
1923年，孙中山派人将联合张作霖、段祺瑞的情况告知冯玉祥，并催促冯早日发动倒直行动。冯玉祥明确表态，目前双方兵力相差比较大，我还不能盲动，只能等待有利时机。时机到来，我一定有所举动，请将此意转达中山先生。
同时，共产党员李大钊在这个时候也有意识地接近冯玉祥。其实，他们早在辛亥革命和滦州起义时，就彼此认识并成了知己好友。辛亥革命后，李大钊和冯玉祥一同加入了同盟会，1912年1月，冯玉祥、李大钊等在北方发动了反清的滦州起义。起义虽然失败了，但那时冯玉祥和李大钊就结下了革命友谊。
此时，李大钊在北京大学任教授，是著名学者。他为了争取冯玉祥参与革命，亲自到南苑去见冯玉祥。他们原来就是战友，见面格外亲热。李大钊向他介绍了俄国十月革命的情况，并分析了中国革命的形势，这让冯玉祥大长见识。他兴奋地说：“原来革命可以这样取得成功，听君一席话，胜读十年书!”
从此冯玉祥就已经暗下决心，联合孙中山与张作霖反对直系。
1924年秋，曹锟和吴佩孚密谋出兵东北，直捣张作霖的老巢。张作霖于是派马炳南秘密来到北京探听冯玉祥的动向。这时候发生了一个小插曲。冯玉祥因公务原因，没有时间亲自去见马炳南，派参谋长刘骥代见。这个刘骥，也是在官场上混久了，当马炳南探问冯玉祥对出兵东北的态度时，刘骥并不了解双方私下往来的进展，因为后来的联系是交给了张树声的。为了谨慎起见，刘骥开始打起了官腔：“冯将军以及所部一切行动都听从中央的命令!”
马炳南当场呆了，不知道发生了什么变故，赶紧去找一直跟他来往的张树声。张树声一听哈哈大笑，对马炳南说：“你就放心吧，刘骥说的不是真心话!冯部一师三旅已奉命日内移防，但绝对不进攻奉军。”
再后来双方往来越来越紧密，到第二次直奉战争爆发前，冯玉祥与张作霖约定，张作霖不入关，就在山海关与直系军队作战，而冯玉祥在内部发动倒戈。如果双方军队发生遭遇，就对天鸣枪，冯军缠红布臂章，奉军缠黑布臂章。
第二次直奉战争
直奉之间的矛盾已经发展到顶点，双方战事一触即发。但在正式爆发前，却先爆发了江浙战争。
卢永祥盘踞浙江，却始终牢牢把持着上海不放手，因为上海可是当时中国第一大城市，它的经济几乎可以相当于半个中国，谁都不愿意扔掉这么个香饽饽。卢永祥原来就是淞沪镇守使，直接管辖上海，后来他升了官，调升浙江督军。临走前，突击任命部将何丰林为淞沪镇守使，这样他即使人在浙江，上海的一切却尽在掌握。但是上海当时在行政上是属于江苏的，这就惹恼了另一个人。
但是匹夫无罪，怀璧其罪。卢永祥占据上海，却让一个人如骨鲠在喉，欲除之而后快，那就是江苏督军齐燮元。当时的上海还划归江苏管辖，但他作为江苏督军，竟然不能控制上海，总觉得自己这个督军做得是名不副实。
更让齐燮元耿耿于怀的就是上海的税收。上海是全国第一大经济中心，每年的税收那可是一大笔，再加上上海还是全国烟土买卖的中心。当时外国人在上海从事烟土买卖的不在少数，据说光是印度一个地方运来的烟土税收 就足以养活三个师。而他卢永祥不仅收税，还自己直接派人去外国贩来烟土 销售牟利。这两项收入之丰厚，让他垂涎欲滴。如果自己得到上海，至少军 饷就不用再发愁了。
吴佩孚也不傻，他也一直在拉拢卢永祥。他知道，卢永祥是段祺瑞的人，算是皖系的最后一支力量。如果将他拉过来，段祺瑞就彻底没戏了，同时张作霖也就少了一个在他后方捣乱的机会，但是卢永祥对吴佩孚的拉拢根本不为所动。经过多次接洽试探，吴佩孚最终确定，卢永祥不会投向自己。彻底失望的吴佩孚决定兴兵讨伐，命令江苏齐燮元、福建孙传芳夹攻浙江和上海。
1924年5月，段祺瑞收买曹锟的译电员，抄出了吴佩孚致曹锟的密电。 吴佩孚在密电里，主张以鄂、赣、苏、闽几省的兵力，围攻浙江、上海，由 江苏齐燮元和福建孙传芳主持其事。段祺瑞派人把密电原文送交卢永祥，一 再叮嘱他早做准备，卢永祥随即派邓汉祥前往奉天联络，以求得张作霖的支 持，张作霖的态度却显得不那么坚决，犹犹豫豫，不肯答应!
现在的形势是，有外援要打，没有外援也要打，妥协是不可能的。卢永 祥知道这一点，于是他对手下军官们隐瞒了张作霖的态度，只是告诉他们， 张作霖态度坚决，准备与浙江军人共进退，终于鼓舞起了军官们的士气!
唇亡齿寒，一旦卢永祥失利，直系势力将更加猖獗，到时候自己恐怕是独木难支。张作霖终于想通了中间的利害关系，立即通电助卢永祥，准备分兵进关；孙中山也发表宣言，率领军队北上支援；段祺瑞也积极联络冯玉祥。反直三角同盟再次组建，并且这次注定不会再犯同样的错误。
齐燮元与卢永祥开打，双方互有胜负。最初凭借装备精良，卢永祥颇占优势，很有一举拿下江苏的气势，但是很快江苏与浙江两省的战争扩大为五个省，安徽、福建、江西三地的军队都加入进来，变成了“四英战吕布”。可怜吕布再勇，也吃不消这车轮战。9月17日，福建孙传芳军队进入浙江，占领了衢州，使浙卢后方受到威胁。孙传芳、齐燮元以钳形攻势令卢腹背受敌。眼看形势十分紧张，而奉系军队远在北方，远水不救近火。大势已去，卢永祥长叹一声，通电下野，与自己的忠实部下何丰林一同赴日本“考察”去了，但很快就辗转回国并来到奉天，投奔了张作霖。
卢永祥兵败下野，但他的失败却为张作霖赢得了天赐良机。就在9月17日孙传芳围困卢永祥那一天，张作霖向吴佩孚宣战，第二次直奉战争爆发。
9月4日，孙中山在大本营召开筹备北伐会议，决定北伐。迁大本营于韶关，亲督各军，命各军分路进入江西、湖南。
几乎就在同一时候，在张作霖大帅府召开旅长以上紧急会议，决定出兵讨伐直系，并组成镇威军。9月13日，京奉线停开普通列车。15日，奉军分别向山海关和热河方向移动。
双方的总兵力有差距。奉军的总兵力约有25万人，直军的总兵力约有30余万人，还不算其他的援军。从总兵力上看，直军占有绝对优势，但经过两年的整军经武，奉军官兵的斗志旺盛。
奉军的战略部署计划周密，将军事目标直接指向曹锟、吴佩孚统治的中心。而且在政治和策略上，张作霖也做好了先期准备。三角同盟最大限度地孤立了直系，牵制了直系的兵力。同时，他手里还有一张足以颠倒乾坤的王牌——冯玉祥。
9月10日，曹锟以十万火急的电报召吴佩孚来京。9月17日，总统曹锟正式组成讨逆军，任命吴佩孚为讨逆军总司令，王承斌为副司令兼直鲁后方筹备总司令。
吴佩孚接受任命后，立即召开了军事会议，部署作战方案。这就是历史上的吴佩孚“四照堂点将”。
吴佩孚的战略部署如下：
第1军，以彭寿莘为总司令，陈兵于山海关正面，作主攻部署；
第2军，以王怀庆为总司令，出朝阳；
第3军，以冯玉祥为总司令，出赤峰，绕击奉军后背。
张福来为援军总司令。
吴佩孚除了在前线布置了陆军三军，在后路布置了陆军十支部队外，还 任命杜锡畦为海军总司令、温树德为副司令，向辽东海湾活动。
战斗首先在热河打响。奉军第2军的李景林和张宗昌兵分两路进攻热河， 在朝阳寺一带击败热河地方守军，奉军势如破竹，很快就攻占朝阳，先头部 队开到冷口附近，奉军对直军形成了一个大大的包围圈。
而在另一个战场山海关方面，集中了双方的主力部队。直系方面还是著 名战将彭寿莘，他凭借有利地形，居高临下，可攻可守，奉军进攻一度受 阻。但奉军在张作霖几年的改造之下，早已经脱胎换骨，战斗力极强。
9月28日夜，山海关方面的两军开始接触。经两天的激战，奉军夺取了九 门口的东口。占领这个据点，对奉军全局的胜利具有重大意义。到10月中旬 末，战斗一直激烈进行，奉军第1军突进九门口，占领荒山1：3。郭松龄部猛攻 山海关正面，但遭遇直军的顽强抵抗，一时形成胶着的对峙局面。
就在这关键时候，奉军内部却闹起了内讧，主要原因还在别之争， 而主角就是奉系两大将郭松龄和姜登选。
奉军第1联军在战争间隙召开了一次首脑会议，郭松龄主张突袭九门口， 而军长姜登选不同意把山海关正面部队调出转移到这方面。两人争执不下， 竟然互相对骂了起来。说着说着，旧恨新仇一起涌上郭松龄心头，他又翻起 了旧账。原来，2旅的炮兵陈琛团配属于第l军，在九门口作战。营长阎宗周 一直以来就和陈琛不融洽，战斗进行中，陈琛向姜登选说阎宗周作战不力、 贻误战机，姜登选一怒之下撤了阎宗周的职。阎宗周可是郭松龄的老部下， 他马上向郭松龄告状。郭松龄大怒，依样画葫芦，也撤了陈琛的职(因为陈 琛团属于郭松龄编制下的部队)，并恢复了阎宗周的营长职务。