袁世凯被逼无奈，只得在奉省选人。在当时情况下，只有张作霖和冯德麟两人可以考虑。袁世凯征求了段芝贵的意见，段芝贵对冯德麟恨之入骨，对张作霖推崇备至。袁世凯也是这个看法。最后，袁世凯于1916年4月22日下令，命张作霖为奉天盛武将军督理奉天军务兼奉天巡按使。就这样，张作霖经过几年的权谋角斗，取悦袁世凯，排挤张锡銮，驱逐段芝贵，终于登上了奉天省督军的宝座。从此，他便成为奉天省军政的最高统治者。
袁世凯在全国军民的一片声讨中，于1916年6月6日病死。按《临时约法》的规定，原副总统黎元洪于6月7日就任大总统。黎元洪宣布恢复国会，进行地方官制改革，将军改为督军，巡按使改为省长。因此，张作霖于7月6日又改任奉天督军兼奉天省长。
10月30日，江苏督军冯国璋当选为副总统。11月8日，冯国璋在南京府邸宣布就任副总统。1917年7月6日，张勋复辟失败后，冯国璋在南京宣布就任代理大总统，同时免去李经羲的国务总理职，正式任命段祺瑞为国务总理。8月1日，冯国璋北上抵达北京。8月4日，冯国璋宣布在北京行使代理大总统职权。1918年10月去职。1919年12月8日，冯国璋病逝于北京。
奉天省是东三省位在第一的大省，奉天市是奉天督军和奉天省长的所在地，是东三省的政治、军事、经济的中心。张作霖占据这个位置，就为以后做东三省之王打下了坚实的基础。现在的官职，是他以后成为东北王的关键一步。
张作霖虽然当上了奉天督军，但是他还没有真正地全部掌握奉省的军政实权。其主要的障碍是来自他原来的老搭档冯德麟。张作霖和冯德麟的关系，在张作霖任奉天督军前，还是和谐的。张作霖对冯德麟采取了又打又拉的策略，终使冯德麟就范。
冯德麟，字阁忱，又名麟阁，1866年(一说1868年)生，奉天省海城人。17岁当胡子，流窜各地，渐有声名。1900年7月，沙俄以镇压义和团运动为名，出动十万大军，分七路入侵东北，烧杀抢掠，无恶不作。清政府无能，百姓自保，乡团兴起。1900年冯德麟在辽阳组建大团，得到奉天的批准，成为合法化的一方势力。由于冯德麟坚持抗俄，保护百姓，渐得人心，来归者众。不久，冯的队伍扩大至数百人，各帮头目自称一百单八将。
他们的抗俄行动引起沙俄侵略军的警觉，沙俄侵略军对冯德麟发动了一次突袭，将冯抓获，放逐到库页岛。两年后，他侥幸逃回。日俄战争时，他自然倒向日本一边，帮助日本侵略军打击沙俄侵略军。日本胜利后，经日本少将福岛的保荐，东三省总督赵尔巽考虑到地方的安全，便招抚了冯部。由此，冯德麟渐升至巡防营左路统领(旅长)，驻北镇。
那时，张作霖任巡防营前路兼中路统领，驻奉天。那时，他们就产生了些许猜忌，但矛盾不大。1912年，巡防营改编为陆军。9月1日，中央任命张作霖为第二十七师师长，陆军中将，驻奉天；任命冯德麟为第二十八师师长，陆军中将，仍驻北镇。他们二人，虽然平起平坐，但由于驻地不同，且兵力差别很大，自恃前辈的冯德麟便甚感不快，由此裂痕渐深。但他们在驱段的问题上，利益却很一致，因此，有了暂时的默契合作。
然而，他们之间的矛盾终于激化。1916年4月22日张作霖被任命为奉天将军兼奉天巡按使，冯德麟大为不满。因为冯德麟被任命为奉天军务帮办，这个官位是“职居张氏之下”的。张作霖是正职，冯德麟是副职。冯德麟当时50岁，张作霖是41岁。而冯德麟在张作霖面前，总是以绿林前辈自居。听到这个任命，冯极为愤怒，骂道：“他妈的！雨亭这小子！”思来想去，怎么也咽不下这口气，便拒绝接受这个任命。
足智多谋的张作霖知道，对这位自视甚高的前辈，不能来硬的，必须使软招。因为冯还有一个师的兵力，得罪不得。于是，他亲自登门拜见，低三下四地同冯德麟拉关系，请冯德麟就职。冯德麟摆出前辈的架势，提出了一个就职条件，军务帮办要在奉天单独成立一个公署，其编制同将军公署相同。这就是说，要同张作霖分庭抗礼。张作霖自然不能接受这个条件。
张作霖把这个难题推给了袁世凯，让袁替他解决。袁世凯回电，不同意设军务帮办公署，但每月可以给15万帮办办公费，以图收买冯德麟。但冯拒绝接受，带兵回到北镇驻地。袁世凯特派他们原来的老上级张锡銮来奉调解，冯不给面子。张作霖只得又派五十四旅旅长孙烈臣，携带大宗礼品和30万元巨款到北镇慰问冯军，进一步请冯到省城就职。
1916年5月20日，冯德麟突率步、马、炮五个营声势煊赫地开进奉天，并在风雨坛设立了第二十八师驻奉办事处。张作霖当晚急忙为之设宴洗尘，冯既不赴宴，也不回拜。张作霖无法，只得把宴席搬到冯的办事处来，又召来歌妓陪酒，但冯仍不满意。冯提出让省财政厅给他拨款50万元购买飞机，并致电袁世凯，要求增加7个营的兵力，同时，在北镇设立奉天军务帮办公署。冯只在奉天住了一天，就回北镇去了。
张作霖对这个无理取闹的老把兄低三下四，委曲求全。他赶紧为冯在奉天修建二十八师办事处，又派军署秘书长杨宇霆到北镇去特请冯回奉天省城。6月6日，冯回到了省城。但冯提出了三个条件：一是帮办权力和将军完全相等，二是用人行政相互咨询，三是拨款20万元给二十八师购买飞机。对这些苛刻的要求，张作霖当然不能答应。
袁世凯死后，冯进一步要挟，二十八师全体将士向段祺瑞内阁总辞职。段祺瑞曾派赵尔巽来奉解决问题，但也是无功而返。1917年3月，冯又回到北镇驻地，待机而动。在这期间，张作霖的部下五十三旅旅长汤玉麟又同冯德麟相勾结，企图倒张。张作霖在国务总理段祺瑞的支持下，罢免了汤玉麟的旅长职务，以张景惠代之。段祺瑞又扬言要派两个师来帮助张作霖讨伐冯德麟，冯感到处境不妙，就回到北镇，暂时沉默下来，伺机而起。
这时在北京上演了一出张勋复辟的丑剧。张勋，原名和，字少轩，江西奉新人，1854年生。1913年任江苏都督。1913年12月至1917年任长江巡阅使，驻徐州。1916年7月，任安徽督军。1917年6月，趁黎元洪和段祺瑞的府院激争之时，率他的辫子兵定武军从徐州出发，进京调停。
张勋是个极端反动的封建余孽，醉翁之意不在酒。进入北京后，迫使黎元洪辞职。他借机和康有为一起，于7月1日，拥戴小皇帝溥仪登基，自任内阁议政大臣兼直隶总督、北洋大臣，清朝俨然复辟了。
在这期间，于6月中旬，张勋电召冯德麟入京。冯德麟未加思考，以为事成之后，会当上奉天督军，就派先遣队200人急驰入京，自己则于20日率卫队30人赴京。到京后，立即会晤张勋，表示完全支持张勋的复辟行为，并命令他的二十八师火速进京“赞襄复辟，保卫皇室”。他急不可待地晋谒了溥仪，溥仪赏赐他“穿黄马褂，紫禁城内骑马，御前侍卫大臣头衔”。冯十分得意。
但这场丑剧，仅维持了12天。7月12日，辫子兵天坛之战，全军溃败。这场丑剧，就在全国的一片反对声中收场了。张勋逃进了荷兰大使馆。冯德麟事先感到不妙，于7月10日率队200人，着便装乘火车回奉。路过天津时被扣，被押回北京。14日，段祺瑞进入北京。8月15日，宣布冯德麟“因背叛共和，罪迹昭彰，剥夺一切官职和勋位，并交付法院依法严惩”。段祺瑞本来对冯德麟就没有好感，这时怎能轻饶了他。冯德麟的第二十八师师长、陆军中将等一切官职和勋位都被剥夺，成了不折不扣的阶下囚。
对待张勋复辟，张作霖很是谨慎。对张作霖来说，无所谓共和与保皇，只看这件事情是否对己有利。他是个十足的机会主义者，他的政治嗅觉十分敏锐，很会观测风向。本来张勋和张作霖关系非同一般，是来寻求张作霖支持的，因为他们是儿女亲家，但张作霖没有轻举妄动，而是坐山观虎斗。段祺瑞在组织讨逆军之前，张作霖看到赞成复辟者极少时，就确定自己必须站在段祺瑞一边。他当机立断，马上发表宣言，反对复辟。在这个问题上，机敏的张作霖取得了主动。
冯德麟在北京被囚，急电张作霖求救。张作霖完全可以落井下石，起码不予过问，但张作霖没有这样做，他反而不念旧恶，积极营救。这是张作霖的非同寻常之处。张作霖之所以这样做，不仅是出于绿林义气，也是有意做给冯德麟的部下看的，以便争取冯的部下。
张作霖当即致电段祺瑞，请求释放冯。并且，又以二十七师、二十八师、二十九师各旅、团、营长的名义，电请段祺瑞释冯。还以辽西16县士绅的名义，向段祺瑞请愿，希望从宽处理冯。段祺瑞在探知张作霖的真意后，于10月15日就释放了冯德麟，判决“参与复辟证据不足，因吸食鸦片罪罚金八百元”。这是一个象征性的轻微处罚。此后，张作霖又电请段祺瑞发还冯德麟的勋章和勋位，段祺瑞照做。为笼络冯的部下，段祺瑞又授予冯德麟总统府高等侍从武官。
事后不久，段祺瑞任命冯德麟为山陵守护大臣，冯便回到奉天。山陵是指包括长白山和清入关以前三代之陵。长白山是清朝的发祥地。三陵，一为永陵，在抚顺新宾，是顺治帝曾祖辈的墓地；二为福陵，在今沈阳之东25里，是清太祖努尔哈赤的墓地；三为昭陵，在今沈阳之北，是清太宗皇太极之墓地。
这个大臣的职位，冯德麟还比较满意。虽然这是一个有职无权的闲差，但因为毕竟是大臣，而且还管辖很多官地，不仅名声好听，还可以捞到许多钱。在全国一片声讨复辟祸首之时，张作霖竟然不避嫌猜，敢于为冯德麟请愿，冯德麟对此不能无动于衷。经此磨难，冯德麟再也不作他想，而是老实过他的晚年生活了。1926年8月11日，冯德麟病死。
冯德麟被捕后，张作霖就接收了二十八师，自兼师长。后把原二十八师的旅长汲金纯提升为师长。扫除了冯德麟这个障碍，张作霖才真正地掌握了奉天省的军政实权。在对冯德麟的问题上，张作霖的又打又拉的策略起了重要作用。
张作霖对只掌握奉天省的军政实权，仍不满足，他的政治野心很大。其近期目标是夺取东三省的统治大权，故首先把矛头对准了黑龙江省。当时的黑龙江将军是朱庆澜。朱庆澜，字子桥，浙江绍兴人，1875年生。曾任职奉天督练公所巡警总局，第十七镇镇统。1912年，任黑龙江督署参谋长。1914年，加陆军上将衔。同年改署巡阅使并升任黑龙江将军，是黑龙江的最高统治者。朱庆澜当年在奉天时，很看不起张作霖，两人由此结怨。朱庆澜也不会听张作霖指挥，张作霖便想挤走他。
但袁世凯很信任朱庆澜，挤走朱也并非易事。此时驻黑龙江的是陆军第一师，师长是许兰洲。许兰洲，字芝田，河北南宫人，1872年生。湖南陆军学堂毕业。袁世凯在天津小站练兵时，因其会武术，曾任职袁世凯卫队，而受袁世凯信任。1908年，任黑龙江巡防营第二路统领。1914年，任黑龙江省陆军暂编第一师师长。当时，许兰洲经常来沈阳，张作霖就把他奉为上宾，并且拜了把兄弟。因许兰洲年长，张作霖就称他为大哥。一次，张作霖对许兰洲说：“大哥，你在黑龙江如果有什么行动，需要款子，我可以把原打算还日本的3万元外债晚一点儿还，挪给你用。”
许兰洲有了张作霖的支持，胆子就大了起来，回到黑龙江，指使一些人到北京去告朱庆澜。一向廉洁自持、执政极勤的朱庆澜，愤而辞职，被段祺瑞派到广东去当省长了。北京政府派庸懦无能的毕桂芳督黑，并派许兰洲帮办军务。在毕来到之前，许兰洲先派他的师部参谋长李景林就任军署参谋长，师部副官处处长杨云峰为警务处处长。毕桂芳来到之后，尽管不满，可是手下没有一兵一卒，所以毫无办法。对这些张作霖都了解得一清二楚，心里暗暗高兴。
许兰洲想当督军的愿望越来越强烈，竟发展到用武力相威胁的地步，限毕桂芳24小时离境，否则无法保证生命财产的安全。毕桂芳只好发出通电下野，乘火车溜出了齐齐哈尔。许兰洲代理了督军兼省长。
许兰洲本打算提升两个小军阀英顺和巴英额的官职，而且在驱毕之前，他们之间就有私下交易，做了承诺；可是他老婆的枕头风吹过来了，要他提拔自己的人才妥当。许兰洲听了老婆的。这就激怒了英、巴二人，他俩分别从海伦和呼兰赶到哈尔滨，留住毕桂芳，请毕桂芳到呼兰仍主持江省之事。毕桂芳不从，仍回北京，但允许英、巴二人代表他仍以黑龙江省督军兼省长的身份发表通电，说明是受许兰洲的威胁而离开江省的。于是英、巴二人联名通电反许。许兰洲赶忙请张作霖表态，张作霖却是默不作声，故意听任事态发展。就在这时张勋复辟了。张勋委任许兰洲为署理黑龙江巡抚。张勋复辟失败后，英、巴二人便揪住不放，攻击许有参加复辟之嫌。
待北京政局安定以后，张作霖派他的旅长孙烈臣驰赴黑龙江，去调停英、巴与许之事。临行之前，张作霖告诉孙烈臣：一是观察动静，二不要怕事情闹大，三要争得各方好感。果然，江省的两派三方，都求孙在张面前说好话，都表示“惟雨帅之命是从”。
孙烈臣回到沈阳以后，张作霖立即电告段祺瑞，举荐中央陆军讲武堂堂长鲍贵卿接任黑龙江督军。鲍贵卿是张作霖的娃娃朋友，又是儿女亲家，同时又是段祺瑞的老部下，段祺瑞当然照准。张作霖就派兵护送鲍贵卿走马上任了。
鲍贵卿按照张作霖的意思，劝许兰洲离开江省，以免真的打起来对谁都不利。许兰洲表示如果去奉，就得把自己的队伍拉出去。鲍贵卿派人请示张作霖，张作霖表示：“许兰洲可以带队来奉，驻扎在东丰、西丰两县。但是须把该地原驻军调到黑龙江省，才能腾出营房给许的队伍。”就这样，张作霖的军队轻而易举地进驻了黑龙江。
当许兰洲把军队安置在东丰、西丰两县之后，去奉天觐见张作霖时。张作霖穿着马褂出来迎接，开口说道：“我对不起大哥，没能帮大哥的忙，因为我的队伍看着二十八师，腾不出手来。请你原谅。”听到这，许兰洲还能说什么，只好乖乖地当他的高级俘虏了。
鲍贵卿当上了黑龙江省的督军以后，因为还有英顺和巴英额的军队没有解决，所以只能说奉系军阀只占有了半个江省。
解决英、巴军队的机会终于来了。原来，英顺、巴英额捡起了许兰洲撵走毕桂芳的老招法，欺鲍贵卿兵力不多，手下仅有张作霖派来的张鸣九4个营和绿林出身的张奎武6个营，就调动部队，离开防地，向省城集中。