增韫对张作霖印象不错，感觉他知书达理、温文尔雅，是个谦谦君子，完全不像传说中的土匪模样，便在心里接受了他。增韫便向他的上级盛京将军增祺报告，得到了批准，回来便让张作霖整理部武，带到新民听候点编。
收编成功，张作霖真是喜出望外。急忙回到八角台，积极招兵买马，扩充队伍。不招不行啊，当初为了让增韫重视自己，他可是夸下海口，说自己有一营人马，其实才百十来人，顶多一个加强连而已。增韫允许他组建一支250人左右的队伍，这是一个正规营的标准人数，他便乘机开展组编活动。他吸收了辽西一些小股匪帮，后来赫赫有名的张作相和薄振声等，都是在这时候加入张作霖的队伍的。
人数够了，他就率队到新民府接受点编，成立了新民府巡警前路游击马队，张作霖被任命为帮办(副营长)，队伍还驻扎在八角台。
‘
第二年也就是1903年7月，张作霖所部和新民街巡捕队合并为巡防马步游击队，人数达到485人。张作霖升任管带(营长)，张景惠为帮办(副营长)，中哨哨官(哨官相当于连长)由张作霖兼任，前哨哨官为张作相，左哨哨官为汤玉麟，右哨哨官为王立有，后哨哨官为赵五把什。
这支政变后的队伍移驻新民府，负责地方治安兼剿匪的任务。就这样，张作霖由一个民团武装头目，摇身一变成为政府军军官。这是他人生中一个极为重大的转折点。
打土匪，我有招
获得了合法身份，张作霖渐渐展露出了自己的政治才华和军事才能。
在政治上，他知道自己的身家性命和未来的前程都系于增韫一人，于是把争取增韫的信任摆在首位。自己不多的俸禄，多数都让他以各种名目孝敬给了增韫，同时对增韫表现出绝对的服从和恭敬，取得了增韫的信任。
对于新民府这个新地盘，他也知道自己初来乍到必须取得地方上的头面人物的认可，于是便想方设法笼络绅商，安抚百姓。对自己的部下严加管束，不许他们骚扰百姓，这得到了新民府上到知府下至黎民百姓的一致拥护。
新民府有个巡警局，局长王奉廷在此盘踞多年，交际很广，手下又有一百多人的弟兄听候差遣，是一个实力派人物。他对张作霖怀有戒心，怕张作霖抢走他的威风，便处处排挤，但他哪是张作霖的对手，张作霖感到自己要想在新民府这一亩三分地上有所作为，必须搬掉这块绊脚石，于是他略施小计，不费吹灰之力就挤走了王奉廷，从而真正意义上完全控制了新民府的军事实权。
1904年2月，东北大地上爆发了日俄战争。两个帝国主义国家在我国东北展开厮杀，而腐败的清政府竟然宣布辽河以东为战区，以西为中立区。外国人在中国土地上打仗，中国人反而成了看客，这也是世界政治一大奇观。日俄军烧杀淫掠，百姓遭殃。张作霖既要维持新民府的地方治安，还要盘算着如何扩大自己的实力。看来看去，他觉得俄国似乎更强大一些，便选择站在了俄国人一边，接受俄军的枪械和金钱，帮助俄军。后来战争结果大出意料，日本人获胜，张作霖因为帮助俄国人而被日本人抓住，差点丢了性命。在多方打点后，他获得释放，随即他就倒向了日本人，同日军签订誓约，“立誓援助日本军”。1905年日俄战后，他的部队不但没受损失，反而扩编为3个营。而因为他维持治安有功，新任盛京将军赵尔巽和新任新民府知府沈金鉴下令，将张作霖的部队由3个营扩编为5个营，张作霖当上了统管5个营的统带(就是团长)。
从此，张作霖以这支武装作为基础，渐渐声名鹊起。名声的第一步，就是张作霖剿匪。
张作霖本来就是土匪出身，当然了解土匪的特点和活动规律，加上他带兵有方，部队战斗力强，很快辽西地区的大小匪帮就被他一一扫除。不是被剿灭，就是被招安。然而，张作霖剿匪虽然厉害，但还有比他更厉害的，那就是辽中杜立三匪帮。
杜立三盘踞在辽中县青麻坎，手下有一千多人，声势浩大，兵强马壮，割据一方。杜立三自诩为马上皇帝，马上功夫了得，能双手使枪，弹无虚发，且城池坚固，徒众凶顽，关卡林立。在自己的地盘上，杜立三基本上就是一个土皇帝，甚至封官许愿，人称“杜大人”。当然，这个大人是自封的，不像张作霖是正规的政府军。
由于杜立三闹得太大，几乎等同于地方政权了，这就引起了清政府的极大不安。盛京将军赵尔巽曾下令“严密访拿”，几次派兵进剿，但都败下阵来。徐世昌当了东三省总督后，也决意要剿灭这股土匪。为了除掉这个心头之患，特别派知县殷鸿寿到新民府协助张作霖剿灭杜立三。
张作霖与殷鸿寿昼夜密谋，仔细计划。张作霖认为，杜立三城池坚固，易守难攻，杜立三本人还极其狡猾，如果派兵强攻，恐怕事倍功半，难以奏效。商量的结果，他们一致决定智取!
张作霖派人到辽中县送上一封贺信，祝贺杜立三被奉天省招抚，当上了大官，官位比张作霖还高，让杜立三速到新民府来面谒省里的招抚大员，以便到奉天向徐世昌总督致谢。
杜立三接到这个消息，心生怀疑，不敢贸然行动。他的母亲及兄弟商量都认为风险很大，凶多吉少，都不主张他去。于是杜立三婉拒了这一提议，没有去新民府报到。
怎么让杜立三相信这是真的呢?张作霖左思右想，终于想起了一个人，黑山秀才杜泮林。杜泮林是张作霖的义父，而他又是杜立三的族叔。杜立三十分信任杜泮林，平时对他是言听计从，十分尊重。他的话，杜立三应该不会怀疑。
张作霖马上赶到黑山，把杜泮林接到新民府，并把他引见给省城大员殷鸿寿，以证明确实是省里招抚，并非虚构。又在新民街上为杜泮林另设招待处，请杜泮林在招待处休息，等杜立三来到之后一同去省城。
杜泮林是个忠厚之人，并没有张作霖那样的花花肠子。他看着身边的一切，怎么看都不像是假的，也不禁为自己的族侄能有一步好前程高兴。便写了一封亲笔信，劝他接受招安，谋一个仕途出身，将来出人头地、光宗耀祖。
杜立三本来就不太相信，但又愿意相信。正处在矛盾之中，恰在此时接到了族叔的亲笔信，疑念顿消，决定前往。
1907年6月6日，杜立三率13人作为随身护卫，奔向新民府接受封官去了。他哪里知道此去是有去无回了。张作霖为了不出意外，事先做了周密布置。
杜立三也不简单，虽然相信了，但防人之心还是有的。在进屋后晋见殷鸿寿时，他坐在背靠墙壁面对别人的位置，同时两手插入兜内，紧紧握住手枪枪柄，观察周围的动静。
殷鸿寿知道杜立三此时警惕性很高，所以他也不着急，一面跟到场的人嘘寒问暖，并宣讲一些政府政策什么的。说完这些，转身对杜立三进行了单独的表扬，说他劳苦功高，为了地方治安出了很大的力。现在朝廷一起录用，将来前程远大等。杜立三只是客客气气地听着，嘴上礼节性的表示哪里哪里，但双手仍然没有从兜内抽出来。
谈话完毕，殷鸿寿开始招呼手下人送客，杜立三起身告辞。为了显得隆重，殷鸿寿亲自将杜立三送到了内客厅的门口。到了这一步，杜立三已经开始大部分相信了，绷紧的神经逐渐放松。到了门口，杜立三实在不好再不有所表示了，人家那么客气，自己竟然一点表示都没有，显得自己太没有教养。再说将来当了官，跟这些人还是同僚呢，低头不见抬头见，所以在走到门口的时候，杜立三终于将双手从兜里抽了出来，双手打躬作揖说： “不敢劳驾，请回请回!”
殷鸿寿也就便托住他的手说： “希望先生尽快办妥交接手续，尽快进京面圣”等话，将他的手与衣兜隔开了。刹那间，汤玉麟等几个壮汉一拥而上，死死地按住了他，迅速将他的枪下了。事不宜迟，当晚就把杜立三在新民府西门外枪决了。
在此之前，张作霖已派张景惠率人马绕道八角台，做好进击杜立三老巢的准备。得到处决杜立三的消息后，张景惠等迅速出击，猛攻杜立三的老巢。杜立三不在，土匪们都是群龙无首，乱了方寸，很快就被击破，死的死逃的逃，杜立三匪帮从此烟消云散。
得此消息，总督徐世昌喜出望外，上报清廷，为张作霖请奖。清廷除赏银五千两外，将张作霖升为奉天巡防营前路统领(旅长)，管辖马步5营。其他还有中路、左路、右路、后路等4路统领。张作霖成为东北旧军5个举足轻重的武装力量之一，势力更加壮大了。
当然，这还不足为奇，张作霖还先后剿灭了为祸多年的蒙匪，也就是外蒙一带的土匪。
这可不简单。因为当初蒙匪之所以肆虐多年，政府军多次清缴一无所获，就因为蒙匪很特别。在广阔无垠的大草原上，他们熟悉地形，了解民情，精于骑射，出没无常。他们行踪无定，多用奇袭，打了就跑，渺无踪迹，而且他们一个人乘两匹马，骑一匹、备一匹，力量足，跑得也快。所以张作霖清剿蒙匪不是一件容易的事情。
但张作霖很快就显示出了自己“剿匪专家”的实力。他采用了强攻和智取两手策略，同时他不断地总结剿匪的经验教训，摸索出一套可行的规律。他派人打入蒙匪内部，取得情报，而逐渐扭转了劣势。
经过多年的战斗，这些匪徒逐一被他击破。最有名的有三个悍匪，就是白音大赉、牙仟和陶克陶胡。最后的结果是白音大赉被杀、牙仟被生擒、陶克陶胡被张作霖一直赶到了俄国境内。
一直危害东北边疆多年的蒙患解除了，打击了蒙古分裂主义分子的嚣张气焰，维护了国家的统一和民族的团结，张作霖此功是不可没的。
在多年剿匪中，张作霖出力卖命，但多次功亏一篑，就是因为人数不够。徐世昌看到张作霖的兵力不足，便给他扩编，增强他的实力。把5个营扩编为7个营，又将驻扎在洮南的孙烈臣部划归张作霖部。这样，张作霖的部队增至3500人，成为东北的一支劲旅。
农民工进城
1911年10月10日，著名的武昌起义爆发了，这就是辛亥革命。一石激起 千层浪，为了响应武昌起义，推翻满清统治，各省纷纷响应，脱离清政府， 宣布独立，就连远在东北的奉天也不例外。
奉天革命党人张榕、宁武、商震等一直在寻找最佳机会暴动，而新军中 部分将领如吴禄贞、蓝天蔚等也在积极策反其他军官和士兵共同举事，反对 满清王朝。当武昌起义的消息传来，群情振奋，欢呼雀跃。他们终于等到了 反对满清的第一声枪响，为了响应武昌，牵制清廷，蓝天蔚准备发动他的新 军第二混成旅反正举义，宣布奉天脱离中央独立。
当时的东三省总督是赵尔巽，辛亥革命爆发时，他正在外视察，得到消 息，便急忙赶回奉天，并连夜开会，研究对策。可是手下密探报告，手握重 兵的蓝天蔚等革命党人正在酝酿起义。赵尔巽一听，顿时吓得不知所措，准 备逃跑。因为他清楚，新军第二混成旅是奉天唯一的一支正规军，而且是一 支新式军队，战斗力很强。他们要是反了，那就等于直接宣布奉天易主。
乱了方寸的赵尔巽唯一想到的就是逃跑，但就在此时，奉天省咨议局副 议长袁金铠提醒了他，劝他重用巡防营旧军，这个建议让他茅塞顿开。因为地方巡防营的将领都是忠于他的守旧军人，同革命党人没有任何联系，于是他立即命令后路巡防营统领吴俊升，让他立即率部队来奉天。
这是个军事秘密，只有极少数人知道，外人是无法知晓的，但世上没有不透风的墙，张作霖第一时间得到了这一重要情报。
其实张作霖还是很有眼光和头脑的，他知道要想出人头地，待在这么个小地方根本就是鬼混，所以他一直在观察奉天省城的动静。还派各营管带张景惠、汤玉麟、张作相去奉天讲武堂学习时密切关注省城的军政动向。
得到这个重要消息，他认为这是天赐良机，不可错过，这是他大显身手的时候了。他当机立断，立即亲率所辖步骑7个营的全部人马，从洮南出发，马不停蹄，日夜兼程，直奔奉天。
路过辽源(郑家屯)时，吴俊升还特意出城迎接他。此时吴俊升还没有接到赵尔巽的军令呢，张作霖居然比人家还快。不过他并没有告诉吴俊升实情，只是说部队拉出去例行训练。
到达奉天省城后，张作霖马上晋见赵尔巽，装作诚惶诚恐地说： “现在形势万分紧张，我听说有人要暴动，对总督您不利，就也来不及多想，赶紧带人来勤王护驾。要是总督您生气我擅自行动，我情愿接受处分。”张作霖又信誓旦旦地说： “只要我张作霖还喘着一口气，我是愿以生命保护恩师，至死不渝。”
赵尔巽正是抓瞎的时候，逮着根稻草都不会放过，这时候有人来保护他，他都恨不得感谢人家八辈祖宗。处分?亏他张作霖想得出来。结果也证明他的冒险是完全正确的，张作霖不但没有受到惩处，反而得到夸奖。赵尔巽马上给他补发调防令，命张作霖兼任中路巡防营统领，以加强忠心耿耿的张作霖的军力。这样，张作霖就统率15个营的兵马了，也就是差不多两个师的兵力，实质上已经是奉天省现有部队最大的军事力量的首领了。