袁世凯生前，按照清廷办法把大总统的继承人名单放在金匮石屋里。袁死后，打开一看按顺序是黎元洪、徐世昌、段祺瑞。这三个人的经历各有所长。黎元洪是清末第二十一协统，辛亥革命时，革命军是从床底下把他拽出来推举为湖北军政府都督的。后来南京临时政府成立，膺选副大总统袁任临时大总统时黎连任。徐世昌是前清重臣，曾任军机大臣、东三省总督、军咨大臣等职，袁任临时大总统时，徐为国务卿。而段祺瑞在清末时，就任第三、四、六镇统制，第一、二军军统。辛亥革命时，按照袁的意旨，镇压起义军，压迫清廷退位。袁任大总统，段任国务总理兼陆军部长。这三个人各有各的打算，徐世昌老谋深算，自己没有掌握兵权，提议让黎元洪当总统，也符合《临时约法》。段祺瑞虽然瞧不起黎元洪，但要当大总统，怕引起西南护国军的反对，冯国璋也会不服气。让黎元洪当总统，西南军和国民党易于接受。这样，徐、段让黎元洪当上了总统，段祺瑞出任国务总理，组成责任内阁。这样，段以袁世凯的继承人自居，成了北洋军阀的首领，掌握北京政府的实权。黎元洪虽是总统，却没有实权，黎的军事幕僚建议他必须掌握军权，这是段祺瑞所不能接受的。段拥黎为大总统只叫他盖印，当个没有实权的大总统。总之，总统府和国务院产生矛盾，而且日益加深，史称“府院之争”。
府院之争很快被安徽督军张勋发现，他要利用这个混乱形势浑水摸鱼，进行复辟满清帝制的活动。张勋是个政治怪物，他虽是民国封疆大吏，却一心要复辟清室，为了表示效忠清廷，依然留着辫子，他的官兵也留发辫，人称“辫子军”。
张勋图谋复辟帝制有他的社会基础，在他的周围聚集了一批前清遗老和部分军阀。张勋和宗社党首领善耆等复辟分子精心密谋策划复辟，制订了丙辰复辟帝制计划：一、由张勋策动冯国璋，结成复辟同盟，作为主力；二、由善耆、允升向日本借款100万元，训练一支勤王军，待勤王军到达张家口时，张勋即借防守京师之名，出兵北上，拥戴宣统复辟；三、将复辟计划密电张作霖，要求届时一致行动；四、取得日本支持，征得同意即刻举行。张勋为实现这个计划，从1916年开始，以徐州为中心，先后召开四次徐州会议，制造复辟舆论，进行复辟活动。
张勋复辟帝制确实得到日本内阁的支持。5月14日，日本内阁派参谋次长田中义一到徐州访问张勋。田中表示：中国局势非常乱，日本对此深表关切，如果中国有力人物认为共和制度不适合中国国情，因而不得不采取收拾局势的其他途径，日本政府愿意予以善意协助。
张勋把张作霖作为复辟帝制的一支力量，是因张作霖在东北有军事实力，又是儿女亲家。张勋本以为只要一拉张作霖就会跟着干，然而张作霖的政治动向是以看局势发展对他的集团和个人是否有好处为前提，你复辟成功了我可以捞到好处，如果失败了我另找门路。所以，张作霖对张勋的复辟活动基本上采取走着瞧的态度，因此，派参谋长杨宇霆参加张勋召开的徐州会议，与之周旋，窥测方向。
9月21日，张勋召开更大规模的第二次徐州会议，从7个省扩大到13个省、区。参加这次会议的有山东、奉天、吉林、黑龙江、江苏、河南、湖北、江西、福建、直隶、浙江、安徽各省督军代表，淞沪护军使等代表。会议推举张勋为13省、区的大盟主，并制订13省区联合会章程，实际是军事同盟。会议还讨论了内阁问题，张勋主张推举徐世昌组织内阁，段祺瑞为陆军部长，他想利用徐世昌为清室复辟开辟道路。
1917年1月4日，北方各督军代表到南京祝贺冯国璋60大寿，段祺瑞派他的心腹干将徐树铮、靳云鹏参加冯国璋的寿庆。安徽省长倪嗣冲也到南京祝寿。1月7日，祝寿完毕，倪嗣冲邀各省督军代表参加第三次徐州会议。这时，府院矛盾进一步激化，国务院总理段祺瑞从不与大总统黎元洪商量国事，大总统成了国务院的盖印员，秘书长徐树铮向大总统送国务院呈文，大总统只准盖印，不准细问。黎元洪觉得做个遵命盖印的总统太窝囊，黎的幕僚给他出主意免去段祺瑞的总理职务，请徐世昌组阁。徐感到手中无兵权，段又不是那么好对付，不敢组阁。段认为黎元洪所以敢和他对抗就在于有一帮幕僚为其出谋划策和国会的支持，这些是他实行责任内阁的障碍，必须一一扫除。张作霖在府院之争方面站在段的一边，指责国会议员“排挤段祺瑞，誓不能容”。所以，第三次徐州会议提出解散国会，修改宪法，改组内阁和总统府等主张。
1917年2月，府院之争在对德宣战问题上的矛盾又尖锐起来。第一次世界大战已进入最后阶段，3月3日，美国宣布对德绝交，胜败结局已见分晓。段祺瑞主张对德宣战，主持国务会议通过对德绝交案。黎则主张中立，拒绝在对德绝交的咨文上盖印，经段对黎施加压力，黎被迫让步。于是，北京政府正式宣布对德绝交，绝交之后就是对德宣战。黎元洪利用他的幕僚制造舆论和利用各省督军的厌战情绪反对对德宣战。段祺瑞则急电召集各省督军开会，向他们解释对德宣战是宣而不战，不需要出兵，不必顾虑，与会者拥护总理的外交政策，不再反对对德宣战。段又唆使各省督军组成的督军团，强行参加国务会议，要求解散国会。府院之争到了这种程度，黎元洪不得不要段祺瑞自动辞职。但是，督军团坚持段祺瑞担任总理，他们召开紧急会议阻止段辞职，以免北洋派解体。张作霖拥段最卖力气，发表通电说：“我总理当代灵光，舍身救世，进退之际，全局攸关，国是杌陧，继起无人，与其在全而未必能全，毋宁玉碎而不至于碎，请钧座奋最后之决心，挽狂澜于既倒……无论做何地步，作霖不才愿随海内外豪杰执鞭弭以从公后。”
当督军团与黎元洪在逼迫段辞职和解散国会僵持不下的时候，张勋电邀督军团于1917年5月23日举行徐州第四次会议，讨论对策。张勋在会上宣布黎元洪免去段祺瑞国务总理的命令，与会者顿时哗然，大骂黎元洪是北洋派的公敌。张勋认为时机成熟，提出复辟清室，但是，张勋还顾虑段祺瑞对复辟清室的态度，就问参加会议的徐树铮，徐说：“芝老(对段的尊称)只要求达到驱黎的目的，一切手段在所不计。”这本是模棱两可的话，张勋就以为段也不反对复辟了。于是，会上决定：一、参加会议的各省督军宣布与北京政府脱离关系，迫使黎元洪解散国会；二、张勋不参与各省独立行动，以调解人面目诱使黎元洪接受各省督军的要求；三、驱逐黎元洪，迎接清帝复位。张勋觉得空口无凭，要与会者在一块黄绫子上逐一签名。会后，倪嗣冲、张作霖先后宣布独立。
5月28日，黎元洪任命李经羲为国务总理，李经羲是满清晚期北洋大臣、洋务派首领李鸿章的侄子，与张勋有瓜葛。实际上李经羲内阁是张勋所支持的，而段、冯两派军阀都不喜欢这个内阁。督军团进一步向黎元洪要求：一、解散国会；二、改正宪法；三、组织健全内阁；四、摒斥公府佥壬(指小人)。黎元洪面对督军团强烈的要求病急乱投医，5月30日，电请张勋来京调解他和段的矛盾。黎在这个关键时刻犯了根本性错误。
张勋接到黎邀请他充作调解人的电报后，带领辫子军5000人开进北京，不是调解黎、段的矛盾，而是逼迫黎元洪辞职。7月1日，张勋露出真面目，换上清廷朝服，率领群丑，进入清宫，拥立12岁的溥仪再次登基，张勋自封为议政大臣、直隶总督兼北洋大臣。同时，册封其他参与复辟出力的臣子。张作霖得知张勋复辟清室，立即召开会议，研究张勋复辟后的对策。一方面对封他为奉天巡抚表示感谢，一方面在行文中仍沿用民国字样，左右逢源。张作霖很快觉察到张勋复辟帝制不得人心，赞成者极少，立即标榜中立。7月3日，张作霖通电宣告：“奉天地位特殊，不便表示态度。”段祺瑞在马厂组织讨逆军，宣布讨伐张勋。张作霖通过天津市卫戍司令陈文运转告段祺瑞，表示他反对张勋复辟；又致电副总统冯国璋及段祺瑞：“复辟之举，本非清室所愿，尤于民国不宜。当此危急存亡之秋，岂可使吾民再罹涂炭。徐州之会，作霖早已反对，只以奉天处特殊地位，对内对外所关甚巨，是以未敢为天下先，公等仗义执言，愿即秣马厉兵以从其后。”张作霖获悉段祺瑞马厂誓师，决定抛弃张勋，追随段祺瑞，急电二十九师做好备战准备。
张勋抬出宣统皇帝复辟帝制，逆潮流而行。段祺瑞统率讨逆军，辫子军一触即溃，复辟丑剧仅维持12天即彻底谢幕。张作霖在张勋复辟过程中，静观变化，察觉复辟不得人心，立即转舵，从支持复辟转向反对复辟，抛弃张勋，投靠段祺瑞，从而提高了奉系军阀在北洋军阀的政治地位，为日后问鼎中原创造了条件。
段祺瑞是北洋军阀直系的首领，又是北京政府的内阁总理，是袁世凯死后北洋派最有威望最有实力的头目。张作霖为了实现自己更大的人生目标，对段祺瑞采取了阿谀奉承的做法。本来对张作霖这个马贼出身的人，段祺瑞是看不起的。但是，因为张作霖拥有军队和地盘，段也不能小觑他。
1918年2月24日，直系的冯玉祥在南进的过程中，突然于湖北的武穴发表了“促进南北和局”的通电。这个主和通电对段祺瑞的主战派是一个沉重打击。在武穴发表通电是经过深思熟虑的。武穴处于湖北和江西的交界线上，冯旅在此驻足，对主战派两路军队的南进，产生了重大影响。这就打乱了段祺瑞的整个军事布局。段祺瑞手中没有军队，感到束手无策。在走投无路的情况下，只得求救于张作霖。
于是，段派他的心腹爱将徐树铮以“接洽国防”的名义，到奉天调张作霖出兵。
张作霖表现积极。1918年2月25日，奉军第二十七师第五十三旅进入山海关，开到河北滦州。这里还有一段有趣的插曲。奉天督署参谋长杨宇霆，绰号“小诸葛”，带兵到达秦皇岛，他是别有所图。他不费吹灰之力，在秦皇岛港口一举劫走了27万余支步枪。这些步枪是根据段祺瑞同日本的中日军械借款协定第一批运到中国的。不料想，刚一上岸，就成了奉军的囊中之物。
这个消息传到北京，着实让段祺瑞吃惊不小，也十分心疼。因为这是段祺瑞准备用来装备他的私人武装“参战军”的。26日，段祺瑞给张作霖发一电，让张把军械送回北京。张作霖也会演戏，同一天，发一通电，说他早已布置南征，只因缺少军火，便未起行。此次“提去”军火，事先未予请示，因为公文来往费时，只得先斩后奏。
27日，张又给段一答电，称“所练军队，无论对内对外，均属拥护中央，一旦编练成军，悉听政府驱策”，还振振有辞呢！其实，据推测，这批军火是徐树铮为了讨好张作霖，而故意送给张的。因为没有礼物，很难说动张作霖出兵。事先请示段，肯定不准，所以，徐就来了一个“将在外，君命有所不受”。提取军火是要证件的，而这个证件就是徐树铮在任陆军部次长期间私自留下来的空白证件。段对张无法，只得不了了之了。
3月5日，奉军一部由天津开到廊坊，靠近北京。张请北京政府在天坛一带指定营房，让奉军驻扎。张的到来，使人们回想起了张勋的野蛮的辫子兵，由此给北京城造成了极大恐慌。张发表通电，表示自己没有个人野心，“毫无私意，若有虚言，鬼神鉴察。”这才使北京市民稍稍安心。
3月12日，在距离天津50里的军粮城组成了关内奉军总司令部。张作霖自兼总司令，徐树铮以副总司令代行总司令职权。此时，段、张勾结，才大白于天下。16日，徐树铮同杨宇霆到天津，召开北方各省督军代表会议，再次敦促大总统冯国璋让段祺瑞组阁。
3月23日，段宣布组阁，段从后台走到了前台，又在大力推行他的“武力统一”中国的政策。段上台不久，奉军又在塘沽劫持军火。这是段从日本购进的第三批军火，段只能吞下这颗苦果。
张作霖是想利用徐树铮，借以扩张奉系的势力。但是，徐树铮却企图假借奉军的力量，达到扩展自己势力的目的。在北军南下的不利情况下，徐树铮决定在汉口设立一个奉军前敌总指挥部，把奉军的6个混成旅全部调到湖南战场上。并命令奉军的3个师长孙烈臣、汲金纯、吴俊升速到长沙，布置作战计划。
此举引起张作霖的警觉，他迅速调回3个奉军师长，并要调回摆在前线的奉军。虽然徐树铮信誓旦旦，但张作霖不傻，不想让自己的部队当替死鬼，打头阵。自此，张、徐之间产生了嫌隙。
7月28日，在天津召开了督军团会议，张作霖第一次参加。关于总统问题，张作霖赞成徐世昌担任大总统。这是很重要的一票。会后，张作霖有意留在天津，查一查徐树铮代行总司令期间的表现。这一查，看出了问题。从3月23日段内阁复活时起，徐树铮一共代领奉军军费515万元，奉军实收只有180万元，其余绝大部分都用在编练参战军和新国会的选举上了。这就是说，徐树铮在欺骗张作霖。徐口蜜腹剑，心怀鬼胎。
张作霖岂是好惹的。他当即下令撤掉了徐树铮的副总司令的职务，并向段告状。段十分惊慌，除令徐向张道歉外，还答应在短期内归还徐的欠款。后来欠款没有还清，张作霖不答应。只得从徐树铮编练成的5个混成旅中，拨给张作霖3个旅，此事才算罢休。
不过，从此徐树铮对张作霖怀恨在心，埋下了要杀掉张作霖的阴险的种子。前文提到，徐世昌在当上大总统的第4天，就任命张作霖为东三省巡阅使。这既是徐世昌对张作霖赞成自己当总统的回报，也是对这个具有深厚潜力的东北王的一个拉拢。这是徐世昌的一招妙棋。此一时期，张作霖还没有过多地过问关内事务，他的眼光基本是在东北。在关内经过两年的历练，张作霖具有了关于国家方面的相当的军政经验，他想入主中原了。
当了东北王的张作霖并不满足，他的目标是登上总统的宝座。而眼下最要紧的是要寻找机会，挥师入关，问鼎中原。机会终于来了。这就是大总统徐世昌电邀他赴京，对直皖两系的火药味十足的矛盾进行调解。1920年6月19日，张作霖来京，以调停人的身份出现，对双方进行调解。那么，为什么直皖两系闹得不可开交，必须有中间人进行调解呢？这就要回顾一下他们之间矛盾的由来。
1916年6月6日，袁世凯在全国人民的唾骂声中病死。袁世凯系统的北洋军阀分裂为直系、皖系和奉系，直系首领是冯国璋，皖系首领是段祺瑞，奉系首领是张作霖。这三个军阀构成了北洋军阀集团的主要力量。他们之间为了争夺中国的最高领导权，在以后的十几年中，时而联合，时而争斗，使中国人民深受其害。他们都分别投靠英、美、日等帝国主义主子，以取得他们的支持。