增太太到达奉天后，立即把途中遇险和张作霖诚心弃暗投明的愿望说与增祺，并且把张作霖的实力和他的为人以及她本人对张的看法，详细地向丈夫叙说了一遍。增祺听太太和几个亲信随员说的这些情况后，一时大为动容，经过考虑后，决定奏明清廷，并命新民府知府曾子顾把张部众收编为省巡防营。这是清光绪二十八年(1902年)的事情。从此以后，张作霖和他的三个助手就成为奉天省防军的正式军官了，仍驻在新民，负责维持这一带地方治安。过了不久，增祺召张作霖到省城晋见，张做贼心虚，托故让张景惠顶替他去省城，被增的左右识破，禀明了增祺。增知道张作霖有所顾虑，加以原谅，并指示张景惠说：“只要你们真能为朝廷效命，我就一定准许你们戴罪立功，决不会欺骗你们的。现在奉天省还有杜立山等几个匪帮为害地方，应密告张作霖相机图之，如能为地方除掉这些巨患，那就是你们的大功，将来一定还要重用你们的。”张景惠受到增的抚慰之后，回到新民如实对张作霖说明。张作霖听后，又羞愧又感动，同时内心也就打定了主意。
奉天各匪帮中，实力最雄厚的算是杜立山了。他在匪中独树一帜，除对冯麟阁以老前辈相待，特别尊重外，认为其余各匪首均不足挂齿，骄横傲慢，目空一切。杜和金万福不常来往，对于张作霖的投降，认为是没有小子骨头，加以鄙视。而日俄战争后，除冯、金两匪帮助日军攻陷首山有功，经日本建议清廷收编为省防营，其他零星小帮已大部被张作霖陆续消灭。到了1907年(光绪三十三年)，只有杜立山一股还为害辽西一带，未被消灭。这时徐世昌已任东三省总督兼练兵大臣，带了一镇(即一师)陆军兵力到奉天，以壮声势，首先严令新民府知府沈金鉴和张作霖二人共同负责，限期剿灭杜立山匪众，逾期不灭，惟他们两人是问。其实张作霖在被收编前就认为杜立山是上眼皮子了，收编后更视其为眼中钉，早已打定主意要消除他，只是苦于难得下手的机会。在未动干戈前，对杜立山是强攻还是智取，他们进行了仔细的商讨。杜立山自诩为马上皇帝，马上功夫了得，能双手使枪，弹无虚发；且城池坚固，徒众凶顽，关卡林立，防备极严。如像以前那样派兵强攻，恐师劳无功，难以奏效，因此，决定智取。他们设了一计。张作霖派人到辽中县送上一封贺信，祝贺杜立山被奉天省招抚，当上了大官，官位比张作霖还高。让杜立山速到新民府来面谒省里的招抚大员，以便到奉天向徐世昌总督致谢。杜立山有所察觉，不敢贸然行动。同他母亲和兄弟商量，他们也认为到新民凶多吉少，都不主张他去。
此计落空，张作霖没有灰心，又生一计。他想到了黑山秀才杜泮林。杜泮林是张作霖的义父。张作霖在中安堡当保险队头目时，同绅士杜泮林结下交情，来往密切，关系甚笃。张作霖知道杜立山拜认杜泮林为同族叔，对其言听计从，十分尊重。张作霖就想打杜泮林的主意。他和殷鸿寿密谋，用杜泮林引诱杜立山上钩。
张作霖特地亲自到黑山把杜泮林接到新民府，并把他引见给省城大员殷鸿寿，以证明确实是省里招抚杜立山，并非虚构。张作霖又在新民街上，为杜泮林另设招待处，请杜泮林在招待处稍事休息，候杜立山来到之后，一同晋升。秀才杜泮林是老实人，不知是计，就给杜立山写了一封亲笔信，言辞恳切，感情真挚。有“游侠非终身之事，梁山岂久居之区；一经招安，不仅出人头地，亦且耀祖荣家”等语。
杜立山本来疑信参半，犹豫不定。突然得到他素来景仰的族叔的亲笔信，便疑念顿消，决定前往。于是，他在1907年6月6日仅率13人作为随身护卫，由宋庆濂带领，奔向新民府，接受封官去了。他哪里知道此是有去无回了。张作霖为了不出意外，事先作了周密布署。杜立山只身赴会，十分警惕。在晋见委员殷鸿寿时，他坐在背靠墙壁面对诸人的位置，同时两手插入兜内，握住枪柄，观察动静，以应突变。谈话完毕，殷高声喊道：“送客！”杜起身告辞，殷送至里屋门口，杜转身请殷“留步”时，突被汤玉麟等几个壮汉按倒，下了双抢，死死捆住。事不宜迟，当晚就把杜立山在新民府西门外枪决了。其实，在这之前，张作霖早已派张景惠率大队人马，绕道台安八角台，做好进击杜立山老巢的准备。得到处决杜立山的消息后，张景惠等迅速出击杜立山的老巢。群龙无首，他的老巢辽中县青麻坎，被一举端掉。除掉了杜立山，扫除了一大害，辽西匪患遂绝，人心称快。
杜立山这个多年啃不动的硬骨头，被张作霖轻而易举地剔除了。他采用的是智取的谋略，这显示了张作霖过人的智慧。得此消息，总督徐世昌喜出望外，上报清廷，为张作霖请奖。清廷除赏银5000两外，将张作霖升为奉天巡防营前路统领(旅长)，管辖马步5营。其他还有中路、左路、右路、后路等4路统领。张作霖成为东北旧军五个举足轻重的武装力量之一，势力更加壮大了。
1908年，徐世昌把剿匪得力的张作霖调到辽宁西北部的通辽、洮南一带，去剿除被沙俄收买的蒙古叛匪。据有关人士回忆：“洮南一带系干燥的草原，草有一二尺高，一望无边。夏日蚊虫甚多，大者如蜜蜂，叮人很厉害。据我个人的回忆，虽在夏天，都得用棉花把头包上，否则寸步难行。狼群更多，一群就是十几条。当时队里的通信人员(当时叫做跑拨子的)往往被狼吃掉，剩下马跑回来……蒙古军队都是一个人乘两匹马，骑一匹，备一匹，力量足，跑得也快。以上种种，都是蒙军优于汉军的地方，所以张作霖清剿蒙匪不是一件容易的事情。”洮南一带是广阔无垠的大草原，是蒙匪活动的根据地。他们熟悉地形，了解民情，精于骑射，出没无常。他们行踪无定，多用奇袭，打了就跑，渺无踪迹。其中，有几股大的蒙匪，如白音大赉、牙仟、陶克陶胡等，都“扰害边疆，至数年之久，此剿彼窜，滋蔓难除，国家视为巨寇”。
这些“巨寇”不除，国家不得稳定，百姓不得安宁。张作霖当此重任，开始时并不顺利。后来，他采用了强攻和智取的两种策略，派人打入蒙匪内部，取得情报，而逐渐扭转了劣局。1909年，徐世昌看到张作霖的兵力不足，便给他扩编，增强他的实力。把5个营扩编为7个营，又将驻扎在洮南的孙烈臣部划归张作霖部。这样张作霖的部队增至3500人，成为东北的一支劲旅。
张作霖是个很知道感恩的人。受到东三省总督徐世昌如此青睐、如此器重，他剿匪更加努力。同时，他也在不断地总结剿匪的经验教训，摸索出一套可行的规律。他本人也吃苦耐劳，身先士卒。因此，又经过年余苦战，终于将白音大赉击毙，生擒牙仟，并打败了陶克陶胡。后来追击陶克陶胡800里，一直将陶克陶胡赶到俄国。危害东北边疆多年的蒙患解除了，打击了蒙古分裂主义分子的嚣张气焰，维护了国家的统一和民族的团结，张作霖此功是不可没的。
在张作霖的政治生涯中，他于1911年智进奉天省城，是一大手笔。1911年10月10日爆发了武昌起义，是谓辛亥革命。各省纷纷响应，脱离清政府，宣布独立。奉省的革命党人张榕、宁武、商震等早有活动，新军中也有吴禄贞、蓝天蔚等从事革命活动。武昌起义的消息传来，东北革命党人群情振奋，准备积极响应。当时以蓝天蔚为协统(旅长)的新军第二混成旅驻扎在奉天的北大营，这是省城的惟一一支驻军。蓝天蔚又是革命党人，他如果抓住机会及时策动反正，可以立见成效的。他确实也在和革命党人张榕紧密磋商，秘密酝酿起义。
但是，由于经验不足，他们没有抓住先机。1911年5月赵尔巽又任东三省总督。辛亥革命爆发时，他正在外视察，得到消息，便急忙赶回奉天，并连夜开会，研究对策。当他得知握有兵权的蓝天蔚等革命党人正在酝酿起义时，顿时吓得不知所措，表示他即将入关，也就是说，准备逃跑了。这时奉天省咨议局副议长袁金铠立即跪求劝阻，并建议重用巡防营旧军。这个建议使赵尔巽如获至宝，茅塞顿开。他思忖，地方巡防营的将领都是忠于他的守旧军人，同革命党人没有任何联系，正是他可以利用的镇压革命党人的军事力量。他立刻来了精神，马上密调后路巡防营统领吴俊升率部自通辽迅即来奉天，以防备革命党人起事。
然而，这个重要消息却被张作霖在奉天的部下探知。这个人就是张作霖驻奉办事处处长张惠临。张惠临深知事关重大，就以最快的速度，把这个消息密报给张作霖。张作霖是个有很大政治野心的人，他不甘心在西北的洮南待一辈子，为此，他早就在观察奉天省城的动静。他曾密嘱到奉天讲武堂学习的各营管带张景惠、汤玉麟、张作相等，注意省城的军政动向，并及时写信报告。同时，他对全国的政治形势也是极为关注的。得到这个重要消息，他认为这是天赐良机，不可错过。他当机立断，亲率所辖步骑7个营的全部人马，从洮南出发，马不停蹄，日夜兼程，直奔奉天。路过通辽时，吴俊升等出城迎接，张作霖与其虚与委蛇，未露实情。
到达奉天省城后，张作霖为争取主动权，决定马上晋见赵尔巽。
东三省奉天府总督衙门大堂上，总督赵尔巽背着双手在大堂上慢慢地踱步，虽然早晨空气清新，衙门里沐浴着阳光，但这总督大人看上去萎靡不振，显得老态龙钟了。这时，张作霖大步流星地走进来，他倒显得精神兴奋，道：“给总督大人请安——召见卑职有何差遣？”
赵尔巽回了个礼，道：“张统领真是大忙人儿啊！我好几天都请不到你啊。”
张作霖忙道：“总督大人请恕罪！可是大人也看见了，自打我进到省城，一直没个家，就跟个跑腿子一个样。这阵子得空了，才买了个宅院，打算拾掇拾掇就把老婆孩子接来。可真是应了那句话，人怕出名猪怕壮！我给朝廷和总督大人干了点事，这捧臭脚的人都把门槛子踢破喽。尤其我那帮把兄弟更是跟着瞎闹腾！成天保媒拉纤儿地，非叫我再娶几房太太，我实在推不开就留下几个。求总督大人别怪罪我这阵子没来给您老请安，也别笑话我贪恋女色……”
赵尔巽摆了摆手，大量地说：“不怪！一点不怪！历朝历代，凡是新贵，都是这个样子的。”
张作霖忙回禀：“我可不是啥新贵，大人有啥吩咐，卑职还要效犬马之劳。”
赵尔巽端起茶，喝了一口，又放下：“我啥吩咐都没有啦！我为你上专折向朝廷请功，现在朝廷的圣旨下来了。”
张作霖大喜，立即站起作揖：“圣旨到了？”
赵尔巽点了点头，脸上却是一副怅然若失的表情：“到了好几天了。”
张作霖跌足道：“哎呀！下官真是罪该万死！罪该万死！”
赵尔巽看了他一眼，他已经习惯了张作霖的表演，所以也不放在心上，当下，从桌上拿起圣旨：“你拿去看看吧。”
张作霖忙后退两步：“下官可不敢！下官得聆听大人宣读啊！”
赵尔巽仍坐着，见张作霖要跪下，忙阻拦说：“你就坐着听吧。”
张作霖不免诧异，指着圣旨，有点又惊又疑：“下官可不敢！——大人拿的真是圣旨吗？不是拿我开玩笑？”
赵尔巽拎着圣旨放到张的眼前，微笑着说：“你看，是真的圣旨。”
张作霖凑上一眼，忙后退一步，跪了下来，道：“那大人要坐着，下官可不敢，我还是跪着听没毛病。”
赵尔巽一脸严肃地宣读圣旨：
奉天承运，皇帝诏曰：兹奉天统领张作霖，镇压乱党决策果断！不动声色，连毙三首凶，又肃清奉省乱党机关！实足以快人心而彰显惩罚威严。特破格升赏该统领任关外练兵大臣！赏戴花翎。将其所部改为二十四镇。以总兵衔任巡防营务处总办。钦此！
张作霖接过圣旨，一眼观之不足，两眼观之不尽，口中颂恩：“谢主龙恩！万岁万岁万万岁——总督大人，这练兵大臣该是几品啊？”
赵尔巽徐徐地说：“至少是二品或从二品吧。”
张作霖喜形于色：“哎呀！下官有啥功啊！皇恩太浩荡啦！下官真是受宠若惊啊！”
赵尔巽看着张作霖高兴劲儿，却又长叹一声：“这圣旨早几天给你多好啊！谁知道你忙着买房子搬家，又娶好几房姨太太……”
张作霖作出一副扭捏状：“大人大人！说好了别笑话我，这……”
赵尔巽道：“我哪有心思说笑啊！你现在手里捧的是一道废旨！”
张作霖失声叫出来：“废旨？”
赵尔巽伤感地说道：“刚才收到电报，皇上……逊位啦！”
张作霖一时不明所以，问道：“啥是逊位？”
赵尔巽心想张作霖到底是土包子，当下没好气地解释道：“就是退位！”
张作霖更吃惊了，一时还没有明白这局势，怎么变天变得这么快，道：“皇上退位了！那当今皇上是谁啊？”
赵尔巽“哼”的一声，激愤地说：“没有皇上了！大清灭亡啦！”
张作霖呆坐椅上，手中圣旨落地，忍不住痛哭流涕：“啊！总督大人，往后咱们靠谁啊？靠谁啊？”
赵尔巽苦笑摇头，说：“一朝天子一朝臣，我是谁也靠不上啦。你还可以靠你手里的这把子军队。中国现在到了有军就有权，有枪就有势力的局面。正所谓拥兵自重，各成势力。不过你是关外绿林出身，不是袁世凯的北洋嫡系……”
张作霖止住哭声，道：“袁世凯？大人是说当今是袁世凯？”
赵尔巽点头，咬牙切齿地说：“对，当今袁世凯是中华民国的大总统……”
张作霖急道：“唉呀！坏了！前些日子，我还给袁世凯打去电报！为了向袁世凯表忠心，我大骂共和政体，还说要带兵进北京勤王啊！我这下可好！这下咋整，他成了共和大总统啦！我还不知轻重胡嗓了一通……”
赵尔巽看着张作霖一脸惊慌，笑道：“这倒无所谓。他袁世凯不仅说过反对共和，而且在武汉三镇与民军开战，杀了多少革命党啊！此一时彼一时嘛。从这段时间你我共事可以料定，在这等道里头，你该是能发达的——好自为之吧。”
张作霖凛然正色，道：“大人，我张作霖知恩图报，往后我能站住，一定要为大人谋个职位。”
赵尔巽摆了摆手，道：“不必了！我这一生官居从一品，多次出任封疆大使，再没有当官的瘾啦！我已经打算好了，回铁岭老家，归隐山林，精力还够的话哪，想写一写清史。本朝人是不能给本朝写史的，现在大清朝亡了，为清朝写史，总是要有人做的嘛。”
张作霖心念电闪，问了一句：“总督大人，下官是不是应该致电祝贺袁大总统登基，极力表示拥护共和？”
赵尔巽露出疲惫的笑容，点了点头，道：“事不宜迟！我急着找你就为这事！”
张作霖这时心乱如麻，想着自己得赶紧回去找众人商量，当下转身欲走，口中告辞：“请大人多多珍重！颐养天年，多福长寿！卑职这就告辞了。”
赵尔巽喊住他，道：“雨亭兄……”
张作霖急忙回身，惊诧地说：“总督大人！这样称呼卑职实不敢当！”
赵尔巽叹了口气，道：“唉！我已不是总督，袁氏来电任我为奉天都督，不过是留守几天而已。以后你我有相见之日，自然是称兄道弟不必打官腔了。赶民国时髦，就叫先生……”
张作霖跪了下来，装出一脸的慷慨激昂，说：“我永远是您老的部下、晚辈！大人以后就叫我张作霖……”