最早败退的是张宗昌部。蒋介石的第一集团军发起进攻不久，便突破了张宗昌在鲁南精心构筑的四十里防线，占领了韩庄、夏镇、鱼台、台儿庄、郯城等地。其间，尽管孙传芳残部为增援张宗昌，曾发起反击，但又被冯玉祥部抄了后路，未能挽回败局，张宗昌、孙传芳部不得不撤退到泰安一线防守。4月30日，泰安城又被蒋、冯两军攻破。张宗昌和孙传芳见自己的山东防线已完全垮掉，遂放弃济南，撤过黄河退到德州一线。
就在张宗昌、孙传芳败退，蒋介石占领济南之时，日军为阻止蒋军继续北上，悍然于5月3日制造了震惊中外的“济南惨案”。但是，这虽然给蒋介石制造了不少麻烦，却未能迫使蒋军停止进攻。济南事件发生后不久，蒋介石命令所部绕开济南，继续北上。至5月中旬，蒋介石又攻占了德州、沧州，将张宗昌、孙传芳部逼退到天津附近。
东线的惨败，也使张作霖的西线部队受到很大影响。张学良的第三、四方面军虽然一度顶住冯玉祥、阎锡山的联合进攻，但终因东线溃退，京津一带受到威胁，也不得不退守保定一线。
到5月中旬，形势已明朗化，张作霖挡住北伐军进攻的企图已基本落空，败退出关只是时间问题了。而这时，日本方面也在加紧考虑究竟应对东三省、对张作霖采取何种态度的问题。
日本军部和关东军见张作霖的失败已成定局，极力主张日本应乘此机会直接以武力控制东三省，排除张作霖。1928年4月20日，关东军参谋长斋藤向参谋本部提议说：奉军如处于不利地位，张作霖势必将20万奉军撤回东三省，这样一来，“满洲”的治安将受到骚扰，威胁到一百余万帝国臣民的生命财产。因此，日本政府有必要发出声明：如战乱波及“满洲”，日本将采取“自卫手段”。关东军应从南满铁路附属地出兵，不失时机地开往锦州或山海关，解除进入东三省的奉军和南军任何一方的武装。5月3日济南事件发生后，关东军再次重复上述要求，请军部迅速裁夺。日本军部也赞成关东军的主张。陆相白川义则、参谋本部作战部部长荒木贞夫等，也都积极敦促田中内阁采取强硬措施，实现东方会议所定将东三省接管的方针。
日本在中国的一些官员，如奉天特务机关长秦真次、张作霖的军事顾问松井七夫等人，虽然不像关东军那么激进，却也主张让张作霖就此下台，由其子张学良或总参议杨宇霆接替。
只有新上任的奉天总领事林久治郎对关东军的主张表示异议，建议外务省应尽快让张作霖及奉军返回“满洲”，把东三省的“治安”维持起来。
日本外务省的看法则介于上述两者之间，认为：如在南方军队到达北京之前奉军主动撤退，日本没有理由阻止张作霖率部回到关外，如果两军在京津地区交战，或在滦州、山海关对峙，无论谁胜谁负，日本均应阻止他们进入东北。
田中比较倾向外务省的意见，内阁决定按既定方针采取两项措施：一是逼张作霖实施山本与张作霖签订的协约；二是向南北双方发出干涉中国内政的《五一八觉书》，以维护日本在“满洲”的所谓特殊地位。对张作霖本人的态度，则视事态变化再作决定。
张作霖虽表示同意山本提出的建造“新五路”的要求，但却迟迟不肯与日方签订“承建合同”。田中十分着急，企图推翻“协约”，指示山本乘张作霖处境危险，迫使他签订全部“承建合同”，以避免让煮熟的鸭子再飞掉。为此，山本立即再次派江藤丰二到北京，与张作霖接洽。5月7日，江藤抵京后，处境危急的张作霖为了取得日本的支持，终于同意签署合同。他让担任代理交通总长的常荫槐代表北京政府在合同上签字。不料，常荫槐虽是奉系骨干，此时却因害怕承担“卖国”的名声，躲往天津，拒绝签它。在江藤的连日催逼下，张作霖没有办法，只好一方面亲自以“中华民国政府陆海军大元帅”的名义，在日方早已准备好的延海、洮索两条铁路的承建合同上签上了“阅，准行”，另一方面又让交通部司长赵镇以交通部代理次长的名义在敦图、长赉两条铁路的承建合同上签字。另一条吉五铁路，则因吉林省各界强烈反对，只好暂时搁置起来，待以后再签。就这样，在交涉了近一年之后，日本终于以软硬兼施的手法，从张作霖手里攫取了“满蒙”四条新铁路的修筑权。
张作霖从消极抵制到最后同意签署四条铁路的承建合同，显然是迫于形势危急，希望借此得到日本的支持，达到苟延残喘的目的。不料，日本不仅毫无“援张”的表示，反而进一步向张作霖施加压力，逼迫他立即撤往关外。
日本一直反对张作霖涉足关内，曾多次向他提出“劝告”或“警告”，张作霖始终未予理睬。1927年夏，田中首相甚至派山梨造陆军大将专程到北京，劝张作霖退回关外，遭到他的断然拒绝。当时，张作霖对山梨造说：“我打的就是日本的仗，怎么日本反而帮蒋介石的忙来劝我回满洲，这究竟是何居心？”结果，把山梨造弄得很尴尬。
但是，日本并未因张作霖的拒绝而作罢。一年之后，田中再次训令芳泽：“你和日本一切在华能起作用的代表同张及其助手接触，‘要命令他立即返回满洲’。警告张作霖，如果他不肯听命，一旦败退关外，日军将解除奉军的武装。”与此同时，田中内阁还正式决定，向中国南北双方发出《五一八觉书》。这个最后通牒式的《觉书》声称：“目前战乱情形将波及京津地方，而满州方面亦将蒙受其影响之虞”，“当战乱波及满洲时，帝国政府为维持治安，将采取适当而有效的措施。”这里所说的“适当而有效的措施”，在田中给芳泽训令中所作的解释是：奉军从京津地区撤退时，如南军继续向关外攻击，日本将进行阻击；倘两军在京津地区交战而奉军兵败逃往关外，或者南军进攻向“满洲”退却中的奉军时，为防止战乱波及“满洲”，日本将解除两军的武装。显然，田中的训令和日本的《觉书》已清楚地表明，日本将公然对中国内政进行粗暴的干涉，以实施东方会议将东三省分离出中国的决议。
5月17日深夜11时左右，芳泽到顺承王府会晤张作霖，首先向他通报了《五一八觉书》的内容。由于《觉书》的措词比较含糊，张作霖虽表示反对，却还能够忍受。然而，当芳泽要求张作霖立即撤回关外，并恫吓说：“如果你的军队打了败仗逃回满洲，日军将解除他们的武装。”张作霖再也忍受不住而大发雷霆。他对芳泽高声嚷道：“要我撤出北京，我多少年来不是白干了吗？我绝对不干，我还有60万大军，至少还能跟南军再干一仗。”但芳泽却不为所动，继续对张作霖威胁说：“张宗昌的兵在济南杀死几十名日本侨民，你对此应负一切责任。”张作霖一听这话，更加来火了。他气得把旱烟袋猛地往地下一摔，将翡翠嘴摔成了两段，然后冲着芳泽大骂：“此事一无报告，二无调查，叫我负责，他妈拉个巴子，真是岂有此理。我这个臭皮囊不要了，也不能做这种叫我的子子孙孙抬不起头来的事情。”骂完了，张作霖就扔下芳泽，怒气冲冲地离开了客厅。
对于日本递交的《五一八觉书》，几天后，张作霖通过中华民国外交总长罗文干正式给予答复说：“于战乱及于京津地区，影响波及满洲地区时，日本将采取机宜措施一节，中国政府断难承认。东三省及京津地方，均为中国领土，主权所在，不容漠视。深盼日本政府鉴于济南不祥事件之发生，勿再有不合国际惯例之措置。”与此同时，南京政府亦就《五一八觉书》对日本政府正式提出抗议，反对日本干涉中国内政。
日本政府毫不理会中国南、北政府的抗议，日本驻华武官建川美次少将前往保定，向张学良、杨宇霆转达田中首相的意图，要他们说服张作霖尽快撤回东北。
与此同时，陆相白川义则指示关东军，要用一切手段制止南、北两军越过长城，并命令关东军第四十混成旅团在奉天集结，第十四师团做好开赴锦州的准备。由于外务省担心，关东军出兵南满铁路以外地区缺乏“条约根据”，可能影响日本对英、美各国的关系，参谋总长铃木庄六遂与首相田中磋商，决定奏请日皇颁发出兵敕令。5月20日，铃木指示关东军司令村冈：可继续作出兵的准备，但在日皇的敕令下达以前，关东军不要开到满铁以外地区。铃木估计，日皇的出兵敕令可在5月21日下达。
早就跃跃欲试的关东军接到指示后，异常兴奋，迅速作出部署，只要敕令一到，立即出动。但是，21日并没有敕令下达。此后一连好几天，敕令也没有来。关东军急不可耐，却不知原因何在。
后来才知道，问题出在英、美方面。日本发布的《五一八觉书》，准备武力干涉中国内政的意图，已引起了英、美等国的不安。英、美两国政府和社会舆论均纷纷表示反对，并告诫日本不要突然行事。尽管有些话说得很含蓄，但已使日本政府明白，如将《觉书》付诸实施，势必引起国际上的强烈反响。考虑到这一点，日皇裕仁没有颁发出兵敕令。
日本军部及政府内部对如何处置“满蒙”问题，也产生了分歧。参谋本部作战部部长荒木和陆相白川都赞成关东军出兵，海相冈田启介则反对轻率动武。此外，外务省政务次官森恪和陆相白川还力主排除张作霖。但田中还在犹豫之中，对驱张之事亦不大赞成。他还幻想利用张作霖来完成东方会议确定的“满蒙铁路计划”，进而实现将“满蒙”从中国分离出来的图谋。
为了取得一致意见，作出最后决定，田中命令森恪召集有外务、陆军、海军、大藏各省主要官员参加的会议，进行磋商。会议一共开了五六天，意见仍未统一。最后，森恪以议长身份做出一个“按既定方针进行”的结论。这就意味着，日本仍要继续执行东方会议的决议，由关东军接管东三省，然后将东三省从中国分离出来。会议结束后，森恪让陆军军备局长阿部信行与外务省亚洲局长有田八郎一齐晋见首相，让田中作出最终裁决。5月25日，阿部、有田来到首相官邸，陈述出兵的必要性。田中沉思良久，最后大概是考虑到英、美将会有严厉反应的后果，终于回答说：“还不忙吧。”实际上否决了出兵的计划。
由于田中决定急刹车，中止以武力进行干涉的部署，参谋总长铃木不得不向关东军司令官村冈发出“停止预定出兵锦州”的命令。这激起了关东军的不满，并刺激他们擅自决定暗杀张作霖。关东军参谋长斋藤在6月1日的日记中写道：“按一己之见，推行政治的当今首相，倒不如撤换掉。”其“愤怒”之情，可想而知。与此同时，已得知张作霖决定撤回东北的关东军司令官村冈和参谋河本大作，开始策划干掉张作霖的计划。
张作霖虽在5月中旬拒绝了芳泽转达的田中要他撤回东北的意见，但因军事形势日趋恶化，加之张学良、杨宇霆等人的劝说，他终于不得不作出退却的决定。5月30日，张作霖下达了总退却令。6月1日，他又邀请外交团各国使节到中南海居仁堂，举行了告别式。6月2日，张作霖发表“出关通电”，声称他退出北京后，政务交国务院，军事归军团长负责，此后国事听国民裁决。
就在张作霖准备离京的前夕，芳泽又来纠缠，让他在一大堆文件上签字。张作霖十分恼火。他借口太忙，让外事人员在客厅里接待芳泽，自己则在隔壁的办公室里高声大骂：“日本人不够朋友，竟在人家危急的时候，掐脖子、要好处，我张作霖最讨厌这种做法！我是东北人，东北是我的家乡、祖宗父母的坟墓所在地，我不能出卖东北，免得后代骂我张作霖是卖国贼。我什么也不怕，我这个臭皮囊早就不打算要了！”从这番话中可以看出，张作霖似乎天良未灭，终于对日本的贪婪进行了强硬的抵制。可惜的是，他的这种并不彻底的觉悟来得太晚了。
6月3日凌晨1时左右，张作霖含泪乘专车悄悄地离开北京。但他没有想到，日本关东军的河本大作等人此时已做好一切准备，正等着致他于死命。6月4日凌晨4点钟左右，随着皇姑屯的两声巨响，发生了本书一开头所说的炸车案，张作霖终于惨遭毒手。
不过，河本等人在除掉张作霖的同时，使关东军能够乘乱以武力控制东三省的图谋并未得逞。由于田中内阁此时尚无决心与英、美对抗，再加上东三省当局在出事后处理谨慎，关东军与河本等人大失所望。在皇姑屯炸车后不久，陆相白川曾在内阁会议上提议授权关东军向京奉铁路沿线出动，因遭到内阁多数成员的反对而未获得通过。对关东军的擅自行动田中懊恼不已，他一听到张作霖被炸的消息便沮丧地说：“我的事业到此就算完结了。”果然，没过多久，田中内阁就因对关东军失控和得罪天皇而被迫辞职。
魂归驿马坊
日本人虽然炸死了张作霖，但奉军实力犹存，更重要的是，张作霖的长子张学良已经多年磨练，日渐成熟，可以接替其父执掌军政大权了。因此，尽管关东军企图在张作霖被炸后趁火打劫，但由于奉天当局成功地采取了应变措施，使张学良得以迅速赶回东北，继承父业，稳定了局势，关东军的阴谋未能得逞。
张作霖被炸丧命之后，当时在奉天主持政务的省长刘尚清和军署参谋长臧式毅，深恐消息传出后引起人心动荡，日本人会乘机浑水摸鱼，又考虑到张学良尚在京津，未回沈阳，遂决定秘不发丧。他们一方面对外发表通电，伪称张作霖虽然挨炸受伤，却并无生命危险，另一方面则严密封锁消息，等待少帅张学良回奉。在此期间，奉天当局与张作霖的家属密切配合，假戏真做，严禁闲杂人员进入帅府张作霖的卧室，每天仍令厨房给张作霖“开饭”，令医生给张作霖“换药”，等等。日本方面曾千方百计地派人到帅府打探，均被张作霖的家属巧妙地应付过去。特别是张作霖的五姨太寿夫人，表现得尤为镇静。她每天都和往常一样“浓妆艳抹”，高高兴兴地接待借口慰问，实则来探消息的日本太太们，不露一点破绽。
奉天方面所采取的保密措施，为张学良返奉争取了十分宝贵的时间。
张作霖被炸的6月4日那天，恰巧是张学良的生日。这天，他正和杨宇霆、孙传芳及军团部的高级幕僚们，在北京的住所万字廊聚会。接到奉天密电，得知其父被炸的不幸消息后，伤心和难过之情难以言表。但是，张学良深知事关重大，不能感情用事，表现得十分镇静。他首先同杨宇霆等人商量，将所辖部队的撤退细节一一作了妥善安排，并将自己的军团部安全撤到滦县。然后，他把军团的指挥权委托给杨宇霆，自己则秘密地从滦县乘车，启程返回奉天。为了遮人耳目，尤其是防止日本人再搞阴谋、加害自己，他特地剃了发，换上灰色的士兵服装，化装成“伙夫”模样，乘坐普通的闷罐军车。果然，日本人未发现他的行踪，张学良总算安全地回到奉天帅府。
张学良一到家，衣服也未来得及换，就冲到父亲的遗体旁。他见到父亲被炸后的惨状，伤心至极，号啕大哭。哭罢，张学良揩干眼泪冷静地对各方面事情作了周密的安排，才于6月21日正式给父亲发丧。
在筹办父亲丧事的同时，张学良又同父亲的老同事们商量东三省最高职务的继任问题。他颇有自知之明，不敢以东北最高统治者自居，故极力推举他的老把叔张作相担任东三省保安总司令。张学良的谦虚谨慎和他对长辈的谦恭有礼，赢得了奉系高级将领，特别是“老派”们的赞赏。一贯对张作霖忠心耿耿的张作相，硬不肯就任“总司令”一职。他认为张学良年轻有为，堪当重任，极力主张由张学良接任其父之职。张作相十分诚恳地对张学良说：“小六子，你放心干好了，我们都会支持你的。在公的方面，如果我们不服从你的命令，你只管拿军法来办我们，可在私底下你还是我的侄儿，如果知道你不好好干，我会在没有人的时候打你的耳光。”在奉系“老派”人物中，张作相算是最有威信的一个，他如此全力支持张学良，其他的奉系将领没有不表示拥护的。就这样，经过东三省议会联合会的推举，张学良当上了东三省保安总司令，于7月2日正式就职。从此，张学良继承父业，成为东三省的最高统治者。
奉军虽然被迫从华北败退到东北，但实力未受太大损失。张学良上任之后，对军队重新进行整编，又对东三省的行政一一作了安排。张学良很快就站稳了脚跟。
同年6月间，在奉军撤出京津地区之后，以蒋介石为首的北伐军迅即占领了北京、天津。至此，北洋政府彻底垮台，各省亦先后宣布服从南京中央政府，惟有东三省在尚奉系控制之下，处于独立状态。张作霖死后，蒋介石决定停止对东北用兵，争取以和平方式解决东北问题。他派代表到奉天，劝说张学良易帜，服从南京中央政府。与此同时，日本也在拼命拉拢张学良。他们软硬兼施，企图迫使张学良按照日本的旨意，推行东方会议既定的将“满蒙”从中国分离出去的政策。但是，连自己的父亲都不肯做的事，张学良怎么能答应呢？张学良是一个有爱国热情的军人，对大局远比他父亲看得清楚。况且，日本人杀害了他的父亲，国难家仇集于一身，他也绝对不愿投靠日本人。因此，从实际上掌握东三省军政大权的第一天起，他就打定主意要为实现国家的统一而努力。7月2日就职当天，他便正式通电蒋介石等人，明确表示自己“爱国爱乡”，决不妨碍统一。张学良的态度引起了日本的不安，日方开始对他施加更大的压力。为了避免给日本造成使用武力的借口，张学良不得不与日本人周旋，一度暂时放慢了实现统一的步伐。但是，他始终坚持统一的立场，从未动摇过。1928年12月底，在作了充分的准备之后，张学良终于不顾日本的反对，毅然宣布东北易帜，服从南京中央政府。东北易帜后，南京政府任命张学良为东北边防军总司令，并改奉天省为辽宁省。
日本分离东北的企图再一次受挫。
张学良办完父亲的丧事之后，一面将其父灵柩暂时存放在大帅府花园东厢房，一面派人勘察，在抚顺市东六十华里萨尔浒附近选中一块地方，修建“元帅陵园”。此处前有浑河环绕，碧波荡漾，后有山峦起伏，林木苍翠，依山临水，地势极佳。陵园从1929年5月开始动工修建，尚未完工，便发生了“九一八”事变。日本占领东北后，便把张作霖的灵柩从帅府移到沈阳小东门外株林寺。直到1937年6月，经当时当了伪满洲国总理的大汉奸张景惠提议，并得到日本侵略者的允许，成立了“张作霖葬仪委员会”。在该委员会的主持下，举行了张作霖灵柩的迁葬仪式，最后将张作霖迁葬到辽西锦县东北驿马坊张家墓地，与张作霖的原配夫人赵氏合葬。张作霖的母亲王太夫人亦葬于此地。至于抚顺的“元帅陵园”，以后则改称“元帅林”，至今仍保存得很完整，成为东北的一个游览胜地。
（摘自《东北王张作霖》）