这样，张勋便被继续留在直隶北境驻防。为了加强直隶防务力量，他把大同驻军一起调驻宣化。宣化北控张家、独石二口，南扼居庸关，为京师北门管钥。张勋在这里设置重兵，是因为有情报说俄国人企图穿越内蒙古草原奔袭北京。这是一件非常严重的事态，也是张勋每一回以一个方面军长官身份单独遇到的一个需要他作出独立判断和相机处理的大难题。他并不怕跟外国人打仗，从某种意义上说，他还很想以现在已经装备了洋枪洋炮的新式军队去跟洋鬼子比试比试。他最怕的是打外国人打赢了也要受惩罚，打输了也要受惩罚。这赢又赢不得，输又输不得的仗，叫人怎么去打？因此，最好就是不打。可是，打与不打又不取决于他自己。万一俄军打过来，那就不打也得打。因此，他也不敢懈怠。他不仅在各主要关口扼要设堵，严密防守，而且亲自带领两个营，出张家口，一直深入内蒙古草原，北巡至多伦诺尔。走着走着，他突然心生一计，故意派人北上内蒙古东北俄军驻地，扬言中国人已知俄军南袭之阴谋，并已在直隶北部张家口至多伦诺尔一线严密设防，正以逸代劳，单待俄军长途奔波后，趁其兵疲而击之。张勋故意把自己的军事部署如实泄露给俄军，用心很明白，就是以暗示之法劝告俄国人放弃南袭计划，以避免作战。这就表明他不仅对朝廷历来奉行的和夷外交路线的精神实质已有了透彻的理解，而且能在独当一面的情况下灵活机动地将这一路线贯彻于实际的军事行动之中。不久，俄国谍报人员证实了张勋的传言不虚，果然放弃了南袭计划。张勋又侦得俄军阴谋被揭穿后已经敛足，这才率军绕经独石口南归宣化。结果，他用了几个月时间在长城内外兜了一个长长的椭圆形大圈，不费一枪一弹，而北拒俄军于千里之外，写下了他个人对外军作战史上最“辉煌”的一页。这也是他有生以来首次“不战而屈人之兵”，实出于《孙子兵法》上所谓之“善之善者”的最佳战术方案。
回到宣化后，他给袁世凯写了一份报告，详细汇报了他此番北巡的来龙去脉。高兴得袁世凯拍案叫绝。袁世凯本来最担心张勋率军北上会给他惹事生非，没想到这个笨头笨脑的家伙竟能不动干戈，巧计却敌，为他顺利解决了直隶北境的后顾之忧，使他能够集中精力在京津一带继续整军经武，进一步扩大自己的影响和实力。他立即致电张勋，大加赞赏，称他“机智勇武，策略过人；安我心者，淮汝少轩”。张勋被灌了这一碗米汤，兴奋得手舞足蹈，逢人便出示袁世凯的嘉奖电，哈哈笑说：“知我者，袁公也！”
不久，俄军在东北战场渐显颓势，张勋料知他们再无力南顾，于是，便放心与宣化府里的地方官们搓起了麻将，直赌得天翻地覆，昼夜倒置，尽兴尽欢，不知时日。
1906年，日本人终于打败了俄国，把中国东北地区纳入了自己的势力范围，而后，他们宣布从东北撤军。袁世凯见这是一个向东北扩张自己势力的绝妙机会，于是赶紧向朝廷建议，要“派知兵大员赴东北接收地面”，并推荐由张勋去担负此项重任。慈禧太后批准了他的奏请。于是，张勋又率着他的八营“北洋巡防队”开赴东北，成了北洋势力打入东北的第一个楔子。
袁世凯的算盘打得很精。因为他向东北扩张，这还仅是一个试探性的行动，他必须做得不动声色，以免惹人注目。而要做到这一点，他所推荐去东北的人选，就必须是一个既听他指挥而又能使别人觉得并非他自己的亲信死党的人物。否则，必会引起奉天将军赵尔巽的警惕而被拒绝接受。而张勋恰恰就是扮演这角色的最佳人选。
张勋对袁世凯的意图洞若观火。但他却乐于再去为袁世凯出这一趟苦差。因为他看出自己在直隶的作用已发挥净尽，再在这种安定环境中碌碌无为地呆下去，对自己的前途并不有利。他还记得冯子材的话，他只能在残酷的征战中求得进取。而此番能够移师奉天，对他来说，无疑又是一次求得进取的良好机遇。因而，当临行前，袁世凯召见他交代有关事宜时，他一见面就踊跃异常地讨好说：“宫保勿虑，张勋此去明助赵尔巽，实为北洋争地盘，誓为宫保全面控制东北打好前站。”
袁世凯本想委婉地跟他谈些行止原则，让他心领神会，没想到他倒直捅捅地把个行动宗旨先给他捅了出来，倒弄得他不免显出几分尴尬，只好笑着说：“少轩真是豪爽之人啦！不过，话可不能这么说。这回叫你出关，主要还是为你着想。你那块四川建昌地方鄙远闭塞，哪有奉天富庶便利？不过，办事可得慢慢来，不能急。出了关，你就归赵将军节制了，你必须注意听从他的指挥。”
张勋立时便明白自己的讨好触着了袁世凯的口头忌讳，但在心里，袁世凯听了还是高兴的。于是，他摸着后脑憨憨地笑着说：“当然，当然，辱蒙宫保厚爱，张勋岂敢不慎重其事？”
那么，按照袁世凯的叮嘱，现在张勋来到奉天的第一件大事就是要妥善处理好与奉天将军赵尔巽的关系。
赵尔巽是汉军正白旗人。在清朝，凡是八旗子弟身份均高人一等。而八旗又分为满州八旗、蒙古八旗和汉军八旗三个部分。所谓汉军八旗，是满族统治者在入关之前招抚的一些甘心归附满人的汉族人，按照满州建制编成的一支旗兵。后来，当满人征服全国，建立大清王朝之后，这一部分汉人便成了高等汉人，他们的地位虽然低于满、蒙旗人，但也可以在地方担任将军。赵尔巽就是凭着这种身份当上奉天将军的。奉天（即今辽宁沈阳）是满族统治者的故都，历来受到朝廷的特别重视，因而奉天将军的地位也比其他地方的为高。它管辖整个东北三省，握有军政实权，实际上就是一位不叫总督的东三省总督。但是，自从甲午战争以来，东北成了日、俄两国反复争夺的一块肥肉，中国的主权几乎丧尽。所谓奉天将军，也就不过是一名为外国主人维持秩序的高级警官而已。他的主要职责之一，就是帮外国主子们去镇压那些在中外统治者残酷压榨之下失去正常生活依据而啸聚山林的“红胡子”。但是，连年的战乱，搞得东北民不聊生，大批大批的老百姓不得不上山为“匪”，以求生存，致使整个东北地区“红胡子”多如牛毛。常常扰得这位赵尔巽将军寝食不安。因此，他最需要张勋替他出力的事情就是进山剿“匪”。张勋一到，他就委任他为奉军辽北总统，命令他进驻昌图，负责对付辽北地区的“红胡子”。
张勋明白自己的根本任务是为北洋集团开辟东北的滩头阵地，首要目标就是要替袁世凯把奉天的地方部队尽可能多地抓到自己手里。而要作到这一点，他就必须先取得赵尔巽的信任，在奉天站稳脚跟再说。因此，他对赵尔巽装出一副十分恭顺的样子，满口表示，此番来到奉天，惟赵将军之命是从，现既蒙委托总统辽北之师，定当竭力绥靖地方，以为赵将军分忧云云。赵尔巽听得满心欢喜。
张勋到了昌图，立即召开辽北各地原防军头目会议，布置剿匪事宜。他知道，不能光凭甜言蜜语打动赵尔巽，最终的信任，还得取决于他的战场实绩，他必须用实际行动来说话。
这时候，辽北郑家屯驻扎着一支新受招抚的土匪部队。其管带名叫张作霖。开会这天，张作霖也应召到场。张勋本来没把他放在眼里，也没指望靠他发挥多大作用。但见面之下，这名个头矮小的年轻匪首却突然“扑通”一声跪地磕头，先以大礼伺候，接着抬起头来说：“总统大人可还认得昔年辽东旧部张作霖？”
张勋摸着后脑想了半天，也记不起是怎么回事。直到张作霖进一步提示，他才终于记起甲午中日战争那年，他担任宋庆毅军先锋马队统领时，部下确有一名瘦小机灵的联络兵去给依克唐阿部送信时，因战马被日军击毙，混乱中无法跟依克唐阿军联络，只得夹在依军败兵中徒步跋涉三日，赶回凤凰城归队；军法官以其办事未果，议杖责50军棍，被张勋看见可怜而令释免。不过，那时的张作霖才刚刚20岁，嘴上还没长毛，加上他跟张勋直接接触的机会有限，因而，当时张勋对他没有多深印象，如今事隔12年，自然很难记起。不过，一旦记起来，却也感到格外亲切。人生如行旅，昔日同路人，今朝偶相逢，虽然身份悬殊，毕竟也是人生一大幸事。张勋始终不忘自己出身寒微，与人交往历来不计官职门第。开完会后，他就把张作霖留下来，两人对酌，畅谈间，他才知道原来张作霖于1875年出生于奉天海城。就在他当年愤然离开宋庆毅军的同时，张作霖也退出行伍回到了他的家乡，随后便上山当了绿林好汉。由于他勇敢果断，机敏过人，很快便被弟兄们推为首领。没几年，队伍就发展到二三百人。他虽然当了土匪，心里却仍想当官。因而，就在一年前，他接受奉天巡防营务处总办张锡銮的招抚，归附朝廷，又一次当上了官兵。张锡銮委任他为奉军前路巡防营管带，继续带领他那二三百土匪兄弟驻防新民屯，不久调防郑家屯。
张勋知道张作霖目前还未真正取得官方信任。但通过交谈，他已看出眼前这名小个子前匪首确非一介等闲之辈。他很懂礼节礼貌，但讲话直率而大胆，有很强的正统观念和升官的欲望，可以认定他归顺朝廷是出自真心的。而且他对奉天各路匪情了如指掌，谋略思想熠熠可见。如果放手把他的作用发挥起来，平定辽北匪患必会事半功倍。想到此，张勋竟当场提出要与张作霖结拜为兄弟。
这突如其来的旷世奇遇，顿使张作霖受宠若惊。他前不久刚刚拜张锡銮为义父。为了攀上那一层关系，他除了把自己的几匹最好的坐骑送给了这位义父之外，还另送了整整一万两银子。可是，眼下这位官职比张锡銮还高，年岁则比他张作霖整整大了23岁，足以为其父辈的总兵大人，不仅未收他分文贿赂就主动和他亲近，而且竟愿意屈尊跟他结拜兄弟，这真是匪夷所思了！
然而，对于张勋来说，和一名受抚土匪结拜兄弟并不是一件什么很难为情的事。他在广西就曾跟陆荣庭结拜过兄弟。而且，他一拜上兄弟，就是真心实意的，并非完全出于功利目的。这一点，聪明的张作霖是不难看出的。这更使张作霖格外感动。不久，事实便证明了张勋的决定是多么的正确！原来，东北“红胡子”与其他地方的土匪有着很大的不同，他们不仅兵精粮足，装备精良，而且有着广泛的民众支持。正如当时的官方报告所描绘的“贼至则民为馈送饮食，兵至则妄指歧途”。在这种情况下，若不借重张作霖这样的地方势力，要很快取得剿匪的成功是非常困难的。而现在，他以自己礼贤下士、豪爽侠义的奇举深深地感召了张作霖，使这名受抚后尚未得到官方充分信任因而心怀观望的前匪首铁下心来跟着他干，他的剿匪行动便迅速获得了进展。
当时，辽西北一带有个最有势力的“红胡子”名叫杜立山，连俄国人和日本人也拿他没办法。不拔掉杜立山这根硬钉子，辽北的匪患就别想平息。于是张勋把消灭杜立山作为在辽北用兵的第一个目标，并且把这个任务交给张作霖去完成，并许诺事成之后，杜的部属全部归张作霖收编，一切缴获也归张作霖所有。张作霖早想吞并杜立山，但过去他的实力不如杜，因而不敢下手，这回有了张勋支持，他便放开胆子来干。他匹马单枪闯进杜立山的山寨，诈称辽北新来的一位张将军对他心怀恶意，他担心弄不好会被他宰了，因而想率领原已归顺朝廷的自己那班弟兄重新落草，投入杜首领麾下驱驰。杜立山信以为真，遂随同张作霖下山喝酒拜把结兄弟。没想酒过三巡，只听得张作霖把酒杯一敲，十几名彪形大汉突然闯进来，杜立山来不及反抗便成了刀下鬼。张勋不负诺言，把张作霖招降的杜立山属下400余人马连装备，以及四百余万金卢布的财物全部赏给了张作霖。他的这种举世罕见的慷慨和大度，充分调动了张作霖的积极性。此后，张勋只需在昌图运筹帷幄，张作霖便卖力地在辽北各处为他决胜千里。这对侠义兄弟配合默契，数月之后，辽北治安即告绥靖。这种局面，过去在奉天还从未出现过。
张勋的作为，使赵尔巽大为赏识，立即奏请朝廷予以奖叙。慈禧太后特降“懿旨”赏给张勋头品顶戴，并谕着以提督记名简放，同时免去了他的宫廷宿卫之职，让他专心在外带兵。这样，张勋便圆满结束了整整五年的皇宫卫队长职任，成了东北地方部队的一名重要将领，为袁世凯在东北地区的进一步扩张建立了军事基础。
不久，朝廷宣布改变东北官制，由过去的将军治理制改为总督、巡抚治理制，以便与全国其他地区的地方建制取得一致。这是公开场合宣称的改制理由。实际上，这仍是袁世凯进一步控制东北的重要步骤。因为就在这次改制中，赵尔巽被调往湖北，而由袁世凯的心腹徐世昌出任东三省首任总督。按理说，这时候，袁世凯应该兑现他给张勋暗许的诺言，趁此机会为张勋在东北谋一方地盘。然而，事实却不是如此。这会儿，除总督之外，东三省一共增设了三名巡抚，袁世凯公然把他的干儿子段芝贵由一名候补道员直接超擢为黑龙江巡抚，都没有给老资格的张勋弄个巡抚当当。徐世昌就任总督后，任命他为东北行营翼长，节制东三省巡防各军，勉强算是个东北地方部队总司令，仍然没有地方行政管理之权，而纯粹当个武夫。这不能不使张勋大失所望。
然而，张勋的坚韧耐劳的一贯品性又在这时支撑着他的失衡的心理。他不仅没有半句怨言，反而干得更加起劲。他迅即帮助徐世昌进一步把整个东北奉军整编为前、后、左、右、中五路巡防队，安全纳入了袁世凯的北洋体系。至此，整个东北完全成了袁世凯的一统天下。
在整编中，张勋继续扶植和重用他的土匪老弟张作霖。他不仅建议徐世昌提拔张作霖本人担任了前路巡防营统领，而且把张作霖的难兄难弟吴俊升、冯德麟、马龙潭等也分别提拔为后、左、右各路统领，使张作霖统率的兵力由几百人增加到7个营计3500余人，成了维持奉天治安的基本力量。张作霖的地位由此获得了一次巨大的飞跃，为他以后成为整个东北的统治者打下了最初的基础。张作霖后来曾经忘恩负义在东北驱逐过他的“义父”张锡銮，但从大体上说，他对张勋的情义却一直保持了终生。
由于张作霖已成了奉天治安的顶梁柱，张勋便率领他的直隶巡防营旧部4000余人马北移到吉林、黑龙江两省，与刚从直隶调入东北的北洋精锐第三镇和另外两个混成协一起，向整个东三省的“红胡子”发动了全面的清剿。他本人还亲临吉林的宁古塔、蜂蜜山，黑龙江的绥化一带、江清铁路沿线地区，以及牡丹江流域等处，指挥搜剿，救出了一些被各地土匪捉去勒索赎金的俄国商人和日本测绘人员，整个东北三省的匪患基本被镇压了下去，使日、俄两个强盗得以安心地在东北经营他们的殖民事业，而徐世昌这个东北的假主人，也就大受侵略者的赞赏，称他“对付匪患和治理地方的才能比赵尔巽强多了。”
徐世昌世称“水晶玻璃球”，是一个老奸巨滑的文职官僚。他青年时代曾和袁世凯玩得很好，并曾接受袁世凯的资助进京赴考，得中进士，此后又因袁世凯的推荐得为高官。他根本就不懂得什么军事。他在东北的治安“成绩”，在很大程度上是得力于张勋的帮助。张勋早在小站练兵当年就曾和徐世昌同事（当时徐任参谋营务处咨谋），对于徐的那副脾气和德性早已了如指掌，并且在心眼里颇有几分看不起他，尤其讨厌他那副滑头滑脑的为人处世作风。徐世昌并非不知这一点。但他一方面离不开张勋在军事治安方面对他的帮助，另一方面也知道慈禧太后对张勋的恩眷甚深，因而，他不能不对张勋优礼相待和表示格外的倚重。他呼张勋为“大哥”，布置工作总用商量口吻，每当向朝廷和袁世凯汇报情况，也往往多有赞语，弄得张勋还真被他这套笼络手法所打动，不禁对他渐渐有了一些好感。他尊称他为“徐公”，每当进京觐见慈禧太后时，他都向太后夸他“谦恭下士，善能用众，精于谋略，巧于调度”，是一位“治世良才”。他利用一切机会颇像是真心实意地报答着徐世昌的“优礼和厚遇”。可是，他并没有忘记无论是徐世昌还是袁世凯，他们始终不即不离地把他笼络在北洋体系之中的目的，任何时候都不过是在利用他为自己的利益卖命而已。只是由于他还无法突破他们的统治，他才不得不因时就势地和他们巧妙周旋着。
荣任提督念旧恩，蒙受重用待身后
袁世凯历来对张勋最不满意的是他与慈禧太后的直接联系。袁世凯的亲信除已经升任总督的徐世昌之外，都不与皇太后直接联系。他们惟袁世凯之命是从，早在小站时期，就养成了只知世上有袁世凯而不知有皇上的习惯。而张勋在这一点上却远不如他的亲信们那样单纯。而且，这家伙虽然看起来笨头笨脑，但他的自主意识却强得很。袁世凯每次委派他出差，他向来就是只问目标，不问手段，一出门，他就只按自己的办法干。这种人一旦当上总督、巡抚，你就很难指望他像其他北洋弟子们一样继续成为自己的忠实奴仆。因此，袁世凯对张勋的个人前途的关心便远不如对其他北洋门徒。但是，对于张勋这样一名劳苦功高的老资格属员，而且最起码，就目前情况看来，他还是相当忠诚地在为北洋集团奋力拼搏的情况之下，袁世凯也不能完全不考虑他的个人利益。因而，就在1908年2月，在袁世凯和奕？的推荐下，慈禧太后谕旨补授张勋为云南提督，并加恩赏穿黄马褂。