看到这封电报，他们非常气愤，决定把应善一杀掉。第二天，应善一从吴公馆南面右侧甘露门出来，被人对面打了三枪，当即身亡。刺客就是奉天督军署的副官高金山。高金山是张作霖的随身副官，跟随张作霖多年，对张作霖忠心耿耿。
事发后，留守的奉天省长王永江担心事态闹大，不好收场，便故意给吴俊升挂电话问：“应参谋长是谁打死的？《盛京时报》上刊登的电报是怎么回事？我得缉拿凶手。”吴俊升机智地回答：“电报后尾的那一句听说是应善一这个糊涂鬼给加上去的，我已经把秘书长打了一顿，又把他赶走了。至于应善一，真是坏人有恶报，今天上半晌他就叫人打死了，活该！”至于应善一是谁打死的，吴俊升心里明镜一般，但他抱着息事宁人的态度，对王永江轻描淡写地说道：“唔！应善一是个窑皮，他逛窑子得罪了人。我想是地痞流氓把他打死的，千万别管这类鸡毛蒜皮的闲事。”此案便不了了之。
这是张作霖对觊觎他权位的人的一个警告，杀鸡儆猴。吴俊升粗中有细，深知此事非同小可。吴严令家人，不准外出。闭门谢客，不事张扬。
应善一被打死，奉天的谣言蜂起。吴俊升左思右想，为了让张作霖对他不产生一点儿误会，便决意只身到山海关亲谒张作霖，以释嫌猜。临行前，他把此行只告诉了王永江，嘱咐他负责奉天省的秩序。他摒去卫队，只带一名副官处长陈振之及两个卫士，以示坦然，挂专车一辆，匆匆西下。
到山海关时，张作霖正在收容部队，整理残军。忽报吴俊升乘专车前来见张，《辽海小记》书中写道：“专车到站时，张恰在旅邸门前散步，见吴到来，即转身回室(向例张见吴，必款接欢迎，足恭有加)。吴趋入谒，张板起面孔说：‘你怎这时才来，我正等你，好给个交代。不该玩忽国家命令，赶快回奉就职，以安人心。咱是老朋友，你干不比别人干强吗！我交代完，你叫我住在哪里，我就住在哪里。’吴说：‘唔！大帅，咱不提这个。我在江省，有熟地多少垧，生荒多少方，够我过几辈子了。钱呢，日本正金银行、朝鲜银行、东三省官银号，我还存有多少万款子，我的财产不比你少。再说，他们北京政府尽闹把戏，咱们斗不过。北京对付广东，还不是这一套。今天撤掉陆荣廷，明天撤掉陈炳琨，结果大家谁都干不成。唔！大帅！你的肩膀比我宽，什么都能担当得起。教我在黑龙江剿匪放马，垦荒种地我会；把我搁在奉天，和外国交涉，各省代表，文的武的，我一样也应付不来。我一天也干不了。我这时才来，我把家都安置好了。你住大连，我跟你住大连。你到哪里，我到哪里。’张听完，笑了说：‘他们怎不来？’吴说：‘大帅生气，谁敢来！打电报叫他们，他们就来了。大家捧柴火焰高。咱们还是干哪！’”
张作霖听着高兴，前嫌尽释，笑容满面，亲切地问道：“大哥，你看下一步该怎么办呢？”吴俊升看到张作霖又叫他大哥了，知道误会解除了，就兴致勃勃地说道：“唔！别听什么大总统、曹三、吴秀才他们那群兔崽子的话，咱们还是干咱们的。要叫我说，到了奉天再说。什么命令，去他妈的！”
一席话，说得张作霖通体舒坦。大舌头吴俊升总能把握住关键时刻，不失时机地表示自己的忠心。他对张作霖是真心服膺的。人们往往认为吴俊升不善言辞，其实他的思维是相当缜密，说话是相当到位的。另外，从中不难看出，张作霖的威风一点儿也没有减少，即使是在直奉一战后，他的东北王的地位也是很牢固的。
奉军在京汉、津浦两线撤退时，天津的帝国主义驻军对奉直双方军队发出警告，准许他们利用铁道及河流运兵，但奉军不得下车。同时，天津周围20里内不得驻军的条约不得违反。5月7日，败退下来的奉军在滦州集结时，英国公使艾思顿声明，不得损害开滦煤矿和英国侨民的生命财产安全。如发生问题，惟张作霖是问。又强调京奉路必须通车，必要时拟派英军保护通车。从中不难看出，英国对直军的偏袒，对奉军的压制。
5月7日，得胜将军吴佩孚志得意满地视察奉军的总司令部所在地军粮城，然后回到天津。不少中外人士前来一睹大名鼎鼎的秀才将军的风采。吴佩孚得意洋洋，高谈阔论。这时战事还没有完全结束，曾经做过东三省总督的赵尔巽劝他适可而止，见好就收。他瞟了这位老前辈一眼，讥讽地调侃道：“以前提拔张作霖的就是你！胡匪扰乱国家，你应该负有责任，今天还来替他说话！”把老迈的赵尔巽说得无地自容。这时的吴佩孚是自视甚高的，哪里能听得进不同意见？
却说，老练的张作霖一看形势不好，便在军粮城及时地下达了总退却令，并急电前线的张学良回部开会。此时，张学良正同郭松龄率队猛冲猛打，已经深入敌阵。得到张作霖的命令，张学良就匆匆赶回，把部队交给郭松龄指挥。5月5日，张氏父子率部仓惶奔赴滦州，建立临时指挥部。5月6日，李景林不敌，率残部放弃了杨柳青，急忙撤退。因有铁路帮助，撤退比较顺利。而张作相部则是溃不成军。
郭松龄率领的第二梯队，因孤军深入，有被切断后路的危险，撤退很困难，郭松龄部撤退的先头部队到了马头镇，要渡永定河。军队刚刚渡过一半，直军王怀庆的第十三师即追至左侧，情况相当危机。郭松龄镇定沉着，从容应对。一面派兵迎击，一面挥军抢渡。用了一夜的时间，全军强行渡过永定河，脱离了险境。张作霖父子在滦州收容各路溃兵，亟盼郭松龄第二梯队的消息。焦躁难耐，忧心如焚。正当此时，郭松龄率队风尘仆仆地归来。张作霖父子喜出望外，精神大振。因为郭松龄部是张作霖的精锐部队，此队没有受到重创，张作霖就可以很快地东山再起。
当时，张学良立即回到军中。张作霖命以郭松龄部为第一路，李景林部为第二路，左右相顾，两路联合，在山海关重整旗鼓，准备迎敌。此时的形势对奉军极其不利，直军是乘胜追击，希图一鼓作气，打到关外。张作霖又把张学良调离前线，把第三、第四、第八3个混成旅的指挥权全部交给了郭松龄。郭松龄使出浑身解数，指挥刚刚打了败仗的奉军，同彭寿莘的直军展开了殊死战斗，终于阻止了直军的猛攻。山海关成了直军前进的最终地点。但是，直到此时，战争还没有最后结束。
张作霖知道，这时应该议和了。他派张学良出面，找张学良在奉天基督教青年会的美国朋友帮忙。张学良找到这个组织的两名美国牧师普赖德和杨古，让他们请英美驻奉天领事出面，向直军方面斡旋停战和谈事宜。不料，被两国领事以不干涉中国内战为由，加以拒绝。这是英美支持吴佩孚的一个明显的表现。
无法，普赖德和杨古只得以私人的身份亲赴山海关前线，找到彭寿莘斡旋。双方在6月9日于直军前线司令部所在地秦皇岛接洽，约定于6月11日再进行具体商谈媾和事宜。
但是，前线的直奉双方一直在冲突。11日至15日，激战未息，双方死伤均有3000余人，奉军战死3名团长。一直没有死心的彭寿莘久战不胜，感到山海关是攻不下了，才走到谈判桌旁。
6月16日午夜12时，在秦皇岛车站上，张学良在杨古牧师和开滦矿务局英籍局长的陪同下，会见了直军代表王承斌，决定双方停战。
第二天17日，在秦皇岛英舰克尔留号上再进行第二次和谈。由孙烈臣、张学良代表奉军，王承斌、彭寿莘代表直军，在英舰上签订和约8条，附约2款。并由中央派王占元、宋小濂赴榆关监视双方撤兵。王、宋于6月24日电告北京政府，双方已如约撤完。
直奉一战，奉系打败了。奉军死伤3万余人，被俘4万余人，军费损失3000余万。然而，张作霖的元气并没有受到损伤。
在5月10日，北京政府宣布罢免张作霖本兼各职后，于5月12日，张作霖在滦州宣布独立，东三省自治，改称奉军总司令。并对外发表宣言：“对于友邦人民生命财产力加保护，所有前清及民国时期所订各项条约一概承认。此后如有交涉事件，请径行照会滦州本总司令行辕。自本月一日起，所有北京订立关于东三省、蒙古、热河、察哈尔之条约，未得本总司令允许者，概不承认。”口气强硬，表现了军阀的本质。
奉军战败后，日本外相内田发表了对东三省局势的宣言，声称严守中立。其实，这是一颗烟幕弹。日本是积极支持张作霖的，日本当时甚至出现了张作霖后援会。日本严防英美势力侵入东三省。5月20日，东三省议会宣布“联省自治”，表明对张作霖的支持。
5月26日，张作霖、孙烈臣、吴俊升联名宣布：“自五月一日起，东三省和西南及长江各省同志一致行动，拥护法律，扶植自治，促进统一。”
1922年5月20日，张作霖返回奉天。6月上旬，奉天省议会与吉黑两省的代表召开会议，推举张作霖为东三省保安总司令，孙烈臣、吴俊升为副总司令，并正式宣布东三省“联省自治”。张作霖继续霸占东北。
7月间，张作霖将巡阅使署和督军署合并，组成保安总司令部，军政大权集于一身。各省省长也以虚伪的“民选”形式，确定下来。任命王永江为奉天省长，魁升为吉林省长，史纪常为黑龙江省长。至此，张作霖在东三省的“联省自治”就完成了。东三省脱离中央，完全成了张作霖军阀割据的一统天下。
1922年7月16日，东三省保安司令部正式成立。这标志着东三省同中央完全脱离关系，正式独立。张作霖任总司令，孙烈臣、吴俊升任副总司令，杨宇霆任总参议。成立秘书、副官、军务、军需、军医、军法稽查等处，分管相关事宜。张作霖请书法家在他的纸扇上书写了“毋忘吴耻”4个大字，借以时时提醒自己，以报前仇。张作霖这类人，意志顽强，轻不言输。为了尽雪前耻，经总结教训，张作霖采取了一些重大的改革举措。
首先，改组领导机构。张作霖设立了一个最高的整军经武的领导机构，名为东三省陆军整理处。该机构是1922年7月24日成立。委任孙烈臣为统监，张作相、姜登选为副监，张学良为参谋长。1925年，东三省陆军整理处改为东三省陆军训练处，人员相应做了更动。由张作霖任统监，姜登选、韩麟春、李景林、张学良为副监。这次改动是为了加强张作霖父子的权力。陆军整理处下设两个处和若干科。两个处是，军学处，处长为陈瑛；工务处，处长为张宣。
据曾任东北军高级将领的何柱国将军回忆：“第一个重要机构是陆军整理处。这是整军经武的最高执行机构，凡属部队整编以及人事的部署和升迁等都由这里决定。除了最高决策由统帅部直接掌握之外，一切日常有关整军经武的重大事情，都要通过这里。”他又写道，“因此由张作霖自兼统监，下设副监多人，新旧两派都有，但实际负责的是副监姜登选、韩麟春和参谋长张学良。”这段回忆有点儿误差，但是可以看出新派实际掌握了改革的实权。姜登选、韩麟春和张学良都是新派人物，尤其是张学良更是新派的首脑。由于新派掌握了改革的实权，为推进奉军的近代化奠定了坚实的基础。
其次，严肃整顿陆军。奉军存在新旧两派。何柱国将军写道：“我要谈谈奉军新旧两派的消长。旧派的主要人物就是人们熟知的张景惠、吴俊升、孙烈臣、张作相和汤玉麟等跟张作霖一起打天下的众好汉。新派人物是杨宇霆起的头。杨是东北法库人，日本士官八期毕业，为人精明干练，勇于负责，从1918年继张作相为统帅部的总参议，始终得到张作霖的特殊信任。就是由杨宇霆先后吸引了韩麟春、姜登选、郭松龄、戢翼翘、臧式毅、于国翰、熙洽、王树常、于珍、邢士廉等成了新派的骨干。后来张学良又以少帅的身份列入新派的首脑，并由张学良和郭松龄分任新军主力第三、八旅旅长。从此新派逐步抬头，逐步壮大，终于成为以后整个东北军的主体。”这个看法是很有道理的。
张作霖原来依靠的完全是旧派，是什么原因促使张作霖开始决心重用新派呢？这主要的是直奉一战的教训。
何柱国将军分析：“然而新派之所以能压倒旧派，也并不是偶然的，其中至少有两件事值得一提。1922年的直奉战争，奉军旧派的军队在长辛店作战，新派的三、八旅在杨柳青以西作战，结果长辛店方面的旧派军队溃不成军，而杨柳青以西的第三、八旅则虽败而未溃，这是一件。另一件是王升文团在山海关的浴血奋战。原来奉军在长辛店和杨柳青战败以后，直军以破竹之势直追到山海关，满以为一举可以捣毁奉张的老巢，不想到了山海关石门寨一线，突然遇到第三、八旅中王升文团的猛烈抗击。王部战斗力之强，远远超出曹吴意料之外。结果王升文团长阵亡，全团官兵也损失甚重，但毕竟阻止了直军的攻势，稳住了整个奉军的阵脚，迫使曹吴不能不有所顾忌而接受了议和。”
接着他又写道：“这两件事不但博得了张作霖的特殊赏识，而且鼓舞了新派的信心，同时也使旧派相形见绌，不得不在军事上有所让步。因此以后的整军经武，事权大部掌握在新派手中，并且逐步深入到旧派军队，使旧派军队也起了变化。”这个分析是很中肯的。张作霖在实践中看到了新派的潜力，因此他决心重用新派。张作霖的头脑是随着时间的推移而变化发展的。
整顿陆军的指导思想是依靠新派力量，裁汰为非作歹的胡匪及行伍出身的官佐。这已经成为张作霖的整军指导方针了。借着总结直奉战争各部的表现，严厉地惩处了违反军纪的军官。根据不同情况，分别加以惩处。
在战争中，临阵退缩、贻误战机、焚劫掳掠者，一律枪决。枪决的有第六混成旅旅长鲍德山，第二十七师第一百零六团团长阎玉成，第十混成旅第一团团长许益三。枪毙了1个旅长和两个团长，震动很大。
对指挥不力、能力不佳、犯有小过者，给予撤职处分。这有奉省军队中的第二十八师师长汲金纯，第二混成旅旅长郑殿升，第九混成旅旅长牛永福，第十混成旅第二团团长朱砚长，独立骑兵第一团团长朱益清；吉省军队中的第二混成旅旅长张九卿，第三混成旅旅长成明，第五混成旅旅长李庆禄，第六混成旅旅长高凤城，第七混成旅旅长李桂林；黑省军队中的第一混成旅旅长英顺，第二混成旅旅长张明九，第三混成旅旅长巴英额，第四混成旅旅长张海鹏，骑兵第一旅旅长马瑞禄，骑兵第二旅旅长张魁武，炮兵独立团团长吉兴等。这些受到处分的军官遍布东三省，计有1个师长，13个旅长和3个团长。对他们的处分，也同样产生很大反响。
当然，经过整顿，受到处分以后表现好的，又有重新得到任用的。如李桂林、李明九、巴英额等又当上了旅长。而吉兴反而由原来的团长被提升为旅长。
同时，对如冯德麟、张景惠、邹芬等重量级的旧派人物则调为保安司令部顾问，使其有职无权，养尊处优。