俗话说，养兵千日，用兵一时。张作霖获悉高士傧、卢永贵作乱，就想起了张宗昌。张作霖对部下说：“张宗昌花了我好几十万元，让他去打高士傧吧！”但是，谁都知道，张宗昌手下只有一个营，而高士傧、卢永贵却有好几千人。故不少人认为，张宗昌以一营人去迎战几千人，岂不是以卵击石？不料，张宗昌虽然兵力不多，却打了胜仗，很快平定了高士傧、卢永贵的反叛。原来，卢永贵手下的胡匪头目，几乎都是当年为沙俄修筑中东铁路的工人，且多数来自山东掖县或黄县，不是张宗昌的老乡，就是他的老相识。他们一听张宗昌带了兵来，很多人都不愿打，纷纷投奔张宗昌。因此，尚未正式交战，卢永贵的部队就垮了，张宗昌不战而胜，高士傧和卢永贵落荒而逃。6月3日，高士傧、卢永贵等人逃至中俄边境珲春时，被高的旧部逮捕。张作霖接到报告后，于6月5日命令张宗昌将高士傧、卢永贵就地正法，张宗昌乘机收编溃兵，成立了三个团，大大扩充了手下的兵力。张作霖十分高兴，升任张宗昌为吉林防军第三旅旅长兼绥宁镇守使。
在成功地讨伐了高士傧、卢永贵之后不久，一部分原沙俄的白卫军因受苏俄红军的沉重打击，纷纷越境逃到中国来。他们不但带有步枪、机枪、还有大炮。由于张宗昌懂点俄语，白俄军队便请张宗昌收编他们。这真是天大好事，他不但将近万名白卫军收编过来，还将一部分有技术的白俄官兵编成了工兵和铁甲部队。这在当时的中国军阀军队中，还是十分罕见的兵种。张宗昌由此进一步扩充了自己的实力，成为奉军中的一支重要力量。
随着高士傧、卢永贵反叛的平定，吴佩孚的颠覆图谋终成泡影。张作霖也进一步巩固了在东三省的统治地位。就在张宗昌即将完全平定高、卢反叛之际，5月28日，张作霖与吴俊升、孙烈臣等奉系将领联名给孙中山、唐绍仪、伍廷芳以及闽、浙、皖等省督军发一通电，解释东三省宣布“自治”的缘由，以争取西南各省及非直系人士的同情。
5月30日，张作霖从山海关前线返回奉天。6月上旬，他召开奉天省议会与吉、黑两省的代表参加的联席会议。在张作霖的控制下，会议推举张作霖担任东三省保安总司令，推举孙烈臣、吴俊升为副总司令，正式宣布东三省实行联省自治。至此，张作霖为“联省自治”和他继续统治东三省完成了必要的“法律”手续。在此后很长的一段时间内，张作霖即以东三省保安总司令的名义行使职权。7月间，张作霖又将原巡阅使、督军两署合并，组成了总司令部，并任命张厚琬为参谋长、李绍白为副官长、魏毅为军务处长、钱维新为军需处长、颜文海为军法处长、王承宗为军医处长、谈国恒为秘书长。与此同时，张作霖还让奉、吉、黑各省省议会分别开会，以所谓“民选”形式，选举王永江为奉天省长、魁升为吉林省长、史纪常为黑龙江省长。
在大致完成了东三省各种权力机构的改组工作以后，张作霖开始将主要精力转到整军经武方面来，以便东山再起，实现其称霸关内之梦。
东山再起
“日以复仇为念”
自被曹锟、吴佩孚的直系军队打败、退出关外之后，张作霖便“日以复仇为念”，开始认真总结失败的教训，苦心积虑策划复仇之策。
军事上的惨重失败，使张作霖清楚地看出了以他的绿林班底组成的奉军有许多致命的弱点，如纪律松弛，不听指挥，素质太差，缺乏训练，等等。故奉军人数虽多，武器装备虽好，可一上战场，战斗稍有不顺，立即溃不成军。张作霖深知，靠这样的军队，“东山再起”是没有指望的，重整奉军是张作霖的第一要务。
但是，如何对奉军进行整顿，张作霖本人心中无数。他从没有受过正规的军事教育，于是决定将此重任委托给长子张学良。
张学良刚出生的时候，张作霖还在绿林中混，故幼年也饱受颠沛流离之苦。不过，这样的时间很短。没过几年，张作霖就投诚清廷，当了清军军官，张学良的生活条件也大大改善。他一到读书的年龄，张作霖便对他实施所谓的“英才教育”，不仅聘请了数名家庭教师向他教授传统的中国学问，还请人教他学英语。
张作霖如此下大力培养张学良，当然是希望他成为自己的“接班人”，但年轻的张学良起初却对当军人缺乏兴趣，他想学医，还想出国留学。前几年，年届九十高龄的张学良曾在台湾谈及这段往事。他说：
当时我本人还是很想学医的。奉天有所南满医科大学，一个朋友是那儿的学生，所以我经常去那里。我想进南满医科大学学习，当医生，但我父亲不同意。
因此我想跑到美国去，去美国大学念书。钱都准备好了。美国朋友非常赞成我去美国，谈好了帮我的忙。当时对我有影响的一个朋友中，有一位叫陈英。他曾留学德国，担任过奉天测量局局长和测量学校校长。我向他说了去美国的计划，他说：“你这个人真糊涂，令尊是希望你当军人，你那样办多伤你父亲的心啊！我给你出个主意，向令尊撒个谎，说是为了当军人去美国，那样令尊就会同意了。一旦到了美国，你愿意念什么书，他还能管你吗？”
我向父亲说为了当军人要去美国，父亲说：“你得啦！那事你干不了。你不要丢我的脸，你当军人？！即便日后回国了，只能干些半拉子的事。”
由于父亲反对，张学良终究未能去成美国。他只好听命于父亲，留在国内，投笔从戎。1919年，张学良19岁的时候，作为父亲张作霖在奉天创办的军官学校――东三省讲武堂的首届学员入校学习，迈出了戎马生涯的第一步。
张学良不想当军人，但真的当了军人以后，却十分努力地学习军事知识。由于张学良在讲武堂的学习成绩特别好，张作霖的把兄弟、当时担任奉军总参谋长兼第二十七师师长的张作相，便特别地关照他、提拔他，准备将他接走。张学良说：
当时因为年轻，别人让我干什么，我都很高兴。我本来在进讲武堂后，就担任了我父亲的卫队营营长。但当时只有19岁，又是讲武堂的学生，所以所谓的卫队营营长，只不过是一个挂名。但是，张作相在我还没从讲武堂毕业时，就让我当了第三混成旅第二团团长。
1920年，张学良从讲武堂毕业后，又被任命为巡阅使署卫队旅旅长。他提拔郭松龄当自己的参谋长。张学良是在讲武堂结识郭松龄的，当时郭松龄是他的战术教官，战术学造诣很深，张学良特别崇拜与信任郭松龄。
张作霖还有意识地让张学良在实战中经受考验，当上卫队旅旅长的当年，张作霖就派他和郭松龄率部参加吉林、黑龙江的剿匪战斗。他在郭松龄的帮助下表现不错，立了功，从此开始在奉军中崭露头角。1921年5月，他和郭松龄又分别被任命为第三、第八混成旅的旅长。
接掌第三、第八旅之后，张学良、郭松龄采取新办法，对部队进行严格和科学的训练，同时重用军官学校出身的人，因而使这两个旅的战斗力有很大提高。第一次直奉战争期间，张学良和郭松龄率领这两个旅作为奉军东路第二梯队参加作战，表现出远高于其他奉军的战斗力。尤其是在撤退时，部队井井有序，损失很小。撤至滦河、山海关一线时，还成功地担负起阻击直军的重任。
第三、第八旅在第一次直奉战争中的出色表现，充分地显示出张学良、郭松龄采用的新式训练法的优越性，张学良在奉军中的威望也因此陡然上升，成为人们佩服的“少帅”。
这一切，张作霖看在眼里，喜在心中。他决定把整顿奉军的大权交给张学良。第一次直奉战争结束，张作霖回到奉天之后的某天晚上，他把张学良叫到自己的卧室，父子俩关上门，密谈了很长时间。
谈话一开始，张作霖就开门见山地对儿子说：“小六子，我和你合计一件紧要的事情。他妈拉个巴子，这一仗咱们输得太惨了！十几万人的队伍啊，只在长辛店打了七天硬仗，全线就花搭了。要不是你和郭松龄的三、八旅打了几场阻击战，只怕撤也撤不下来了。唉！真他妈的窝火呀！”
张学良见父亲仍在为打败仗难过，便安慰说：“爹，胜败乃兵家常事。咱们虽然一时败了，但还有实力……”
未等儿子说完，张作霖就打断了儿子的话：“送这服宽心丸没啥用。今儿个我没找外人，就是想听听你的实话。咱爷儿俩靠什么？不就是靠枪杆子吗？队伍弄不好，就非垮台不可！这些天，我一直在琢磨，奉军非改良不可了。可我又拿不准怎么个改法。当着外人我不好夸你，说实话，我这回才看出来，你和郭松龄带出来的军队还真有两下子，打得上去，退得下来。这回你就多动动脑筋出出点子吧！”
听父亲这么一说，张学良非常高兴。他早就想对奉军进行改革。以前不敢说，一则因为父亲脑筋太旧，听不进去；二则，碍于奉军中许多老将坚决反对，他们没有新的军事知识，又害怕自己的既得利益受损。作为晚辈，张学良当然拗不过他们，只好同郭松龄在三、八两个旅中搞新式训练。如今，父亲终于醒悟了！张学良坦率地对父亲说：“学良想，主要是培养和提拔新的军事人才，其次是要加紧训练精兵，整编庞杂的旧队伍。俗话说，兵不在多，而在于精。对不中用的，必须淘汰。还有要加强空军，筹建海军……”
听完儿子的建议，张作霖也很高兴，当场就很干脆地表态说：“中！就是要招揽人才，只要是军校出身的，不管是国产的，还是留洋的，咱们都要。队伍的训练，就照三、八两旅的样子搞……”
就这样，父子俩商量出了一整套整军计划，并决定立即付诸实施。末了，张作霖又说：“他妈拉个巴子，这么一大摊事，总得成立个总的机构来管。小六子，你说说看，这个机构叫个什么名呢？”张学良想了一下回答说：“就叫‘东三省陆军整理处’，行吗？”张作霖连忙说：“好，就叫这个名。”为了争取老将们的支持，细心的张作霖决定让孙烈臣、张作相挂名当总监，让姜登选、韩麟春等新派人物当副监，让张学良当参谋长。老将们实际上并不管事，实权都握在新派人物、主要是在张学良手中。在讨论“整理处”的人选时，张学良自谦地对父亲表示，把他的名字摆在后面比较好。对儿子的成熟，张作霖很高兴，对儿子说：“好，他妈的有度量，让外人看看咱们爷儿俩能容人。可有一点，空军必须由你亲自抓，亲自管，这样我才放心。”
就在父子俩这次密谈之后不久，张作霖正式宣布成立“东三省陆军整理处”，并以该处为主要机构，将整军经武的各项措施付诸实施。
一是按照“不分畛域，整齐划一”和“精兵主义”的原则，对东三省的所有军队进行整编，将其编为陆军二十七个旅、骑兵五个旅。每个旅均辖有三个团。原有各师的番号，除保留第一、第二十七、第二十九师外，其他统统取消。这三个师所辖各旅亦在上述二十七个旅之中。对炮兵，也进行整编和扩充，除将原有的炮兵扩编为两个独立的炮兵旅和一个主炮团外，同时将配属于各师、旅的炮兵团或炮兵营加以充实，并确保每个步兵团有一个迫击炮连、一个机枪连。经过一番整编，奉军原来那种编制混乱，机构设置、火力配备五花八门的状态，得到了很大改变。
奉军的整编，不仅仅是在编制方面加以整理、统一，更重要的是汰弱留强，大刀阔斧裁减老弱或素质极差者。有的旅因毫无战斗力，甚至全旅被遣散。此次整编，奉、吉、黑三省的军队被裁汰的兵员总计达6.9万人，并且补充了不少青壮新兵。到第二次直奉战争前夕，奉军总兵员约为25万人左右，人数虽然比以前有所减少，但却精干得多了。
二是整饬军纪，铲除积习，对第一次直奉战争中不听指挥、临阵逃脱、贻误战机的军官加以惩办。其中，被枪决的高级将领就有原第六混成旅旅长鲍德山、原呼伦贝尔镇守使兼骑兵第二旅旅长张奎武、原第十混成旅第一团团长许益山等。此外，还有一些旅、团长被撤职。对重新整编后的军队，则规定了比较严格的纪律，如严禁官员吸食鸦片，如有发现，立即除名，并加以惩治；所有军队都不准缺额，如有违犯，轻则对该部长官记过罚薪，重则先撤后惩；各军防区应严守区界，不准随便移动，违者即治该部长官擅专违令之罪；各军遇有奉命出战或开拔剿匪时，需用车辆，须出价雇佣，不准分文不给地抓派，违者重惩不贷，等等。
三是加强军官队伍的建设。除惩治违犯军纪的军官和淘汰无能的军官外，将决定留用而无学历的军官，分批送到讲武堂培训。军官的提拔则采用考试办法，着重提拔那些受过近代军事教育，有学历的军官。为此，奉军在整编中甚至明确规定：凡各师、旅的参谋长及各团掌握教育的副团长，一律改由军校出身的人充任。奉军还一改其他军阀军队只能由行伍出身的人带兵的习惯，规定如遇团、营长出缺，可调该部参谋长、团副或军校教官充任，使军校出身的人也有带兵的机会。
为了确保奉军有足够的受过军校教育的军官，或使所有的现任军官都能受到军校教育，一方面大批地吸收从国外回来的留学生和国内陆军大学、保定军校等出身的军官，到奉军任职，另一方面扩建东北陆军讲武堂。讲武堂由张作霖亲自兼任堂长，由张学良兼任监督，由从日本陆军大学毕业的肖其煊和中国陆军大学毕业的郭松龄等任教育长和教官。在扩建东北陆军讲武堂的过程中，尤其是在第一次直奉战争失败以后，张作霖舍得花钱，购买了当时比较先进的设备，下决心要把讲武堂办成全国一流。确实，由于张作霖的重视，在当时中国各派军阀所办的讲武堂或军校中，无论是教官还是设备，东北讲武堂均属一流，在为奉军培养各类人才方面，起了重大的作用。
四是树立示范部队，加强部队的训练。由于张学良、郭松龄直接统率的第三、第八旅早就采用了新方法进行训练，在第一次直奉战争中表现出色，故在整编中，遂将由原第三、第八旅改编而成的第二、第六旅，作为奉军的示范部队。一方面继续加强这两个旅的建设，从军官的调充到武器装备的配备，都给予重点保证；另一方面则将两旅的训练方法，在奉军各师、旅中推广。为了提高训练质量，从1922年秋季开始，奉军开始实行按季校阅、评分制度，奖优罚劣。这对奉军战斗力的提高确有作用。
张宗昌在镇压高士傧、卢永贵的反叛之后，所部大大扩充，但成分很杂，犹如一群乌合之众，纪律很差。奉军整训开始后，张宗昌也不得不按规定对所部进行训练。可是，由于张宗昌不重视，不肯动真格的，故训练了一年，部队面貌仍无根本改观。张作霖曾多次派人告诫张宗昌，命他抓紧训练，见效甚微。眼看1923年的秋操校阅就要到了，负责评阅的张学良、郭松龄、李景林也很着急，便将情况报告张作霖。张作霖一听来了火，单独召见了张宗昌。
在奉军中，张宗昌谁也不怕，就怕张作霖。听说大帅召见，张宗昌不敢不来。他心里有点发毛，但走进大帅府老虎厅时，却故意嬉皮笑脸地说：“老爷子，宗昌来了。”不料，张作霖见他如此随便，把眼一瞪，厉声说道：“妈拉个巴子，跟我过家家玩哪？出去！重新进来！”经这么一训斥，张宗昌才想起军风军纪，只好立正，向后转，开步走，回到门外，然后大声说：“报告！张宗昌到！”在得到张作霖允许他进来的答复后，张宗昌才进来，向张作霖敬了军礼，并以立正姿态听他训话。张作霖首先指着张宗昌的鼻子问道：“效坤，你一年要花我多少钱？”“报告，180万。”张宗昌答。“我拿这么多钱，养活你们，你们也得给我争点气啊！他妈的，你那群土匪队伍就不能整顿整顿吗？”张作霖连训带骂地说。张宗昌辩解说：“大帅，宗昌正在整顿。”“整顿他妈个蛋！听说你们种大烟都忙不过来。这回秋操演习，看看你的队伍咋样！要是还不像话，到时候可别怪我不客气。去吧！”听张作霖这么一揭老底，张宗昌不敢再辩了，低头连说几个“是”字，然后，敬过军礼，退了出去。张宗昌回去后，果然不敢怠慢，玩命似地对其所部整训了一番。秋操校阅时，他的部队仍比不上其他部队，但毕竟有了一定改观。
五是改革军需制度，实行军需独立，补充统一。奉军以往也同其他军阀部队一样，军需制度十分混乱。尽管由于东北的财政状况较好，奉军发饷和枪械的补充比其他军阀的军队正常得多，但部队自行筹饷，军官吃空额、多报少支、贪污中饱的事，仍屡见不鲜。各部队长官所用的军需官大多是亲信，即所谓的姥爷、舅爷、姑爷等“三爷”人物，把军需部门视为自己的私人账房。大大小小的军官整天想的就是弄钱、发财，无心军事训练。经过第一次直奉战争，张作霖等人认识到必须改革奉军的军需制度，并将其作为整顿的重要内容之一，为此采取了不少措施。首先，是实行军需独立，凡各师、旅的军需官，均须经督军署军需处审核后任免，禁用私人；以团为基本的经理单位，各营的军需官均集中于团部集体办公。其次是统一供给，不允许各部自筹。将粮饷分开，粮食一律供给现品，柴、菜供给发给代金；官兵饷金一律由上级派人到部队点名发放，不准吃空额。此处，严格会计制度，各部队购买军需用品，一律按月记入新式账簿，上级则加强检查，不准多报少支。为了适应上述改革的需要，奉军还大力培训了一批专门的军需人员，使各部队的军需官佐皆由具备专门知识的人担任。
除了对现有奉军进行整顿外，张作霖、张学良父子还花大力气扩大空军、创建海军、扩建兵工厂。