由于两个人的脸色缓和下来，在座的人也活跃起来，在密谈结束之前，芳泽又主动地讲述起日本和中国的亲善和睦关系，接着又喝起酒来。酒杯碰得丁当响。
张作霖送走芳泽公使时，已经是下半夜三点了。他感到有些疲倦地说：“这个鬼子酒量太海了。日本人吃别人东西，味道说得可全了。”
侍候的秘书奉承道：“大帅还是杯杯不相让，酒量堪称是大洋了。”张作霖哈哈大笑，指着下身穿的大肥裤子说：“你们看，这可不是我走了尿，这是我把酒泼在裤裆上了。”
第二天晚间，张作霖召集杨宇霆、张学良等人讨论应付日本“满蒙觉书”的问题。会议还没讨论出结果时，芳泽公使又打来电话：日本政府有促使张作霖猛醒的必要，痛感张作霖没有诚意。会议又继续讨论，中间收到奉天“大帅办”的机密电报：日本使馆武官立作川少将警告张作霖，如果奉军败退出关，日军将解除其武装。“大帅办”并附材料：关东军派兵二千人在锦州、榆关（山海关）一带布防，扬言要阻止任何军队进入东三省一步。
张作霖见形势越来越不利，便决心退回奉天。
1928年6月2日。
北京城里的中南海，华灯初上之时，已经平静得像一池湖水；初夏的轻风，吹拂着岸边的垂柳；花圃里的盆坛，散发出阵阵清香；星星眨着明亮的眼睛从神秘处跳出来，吵闹了一傍晚的归鸟，都在枝头上入了梦乡。
住在纯一斋的张作霖没有入睡，他披件夹衣，戴上花镜，伏在案上看什么。明亮的灯光，把他巨大的身影投向后壁，迎着灯光的脸上，露出一抹红润，多日来的忧伤，已经消失了，那绺张开的胡须，显得很雄壮，眼神也流露出自信——一切大事都安排得比较顺心。6月1日，他没有出京。那只是一个“烟幕”，他本来就不打算！日出京的。但是，这一天却有一个颇具规模的阵容出京了，确实是从中南海走出去的，并且用了元帅府中最豪华的汽车。那却是大帅的一批亲信，他们携带着“安国军大元帅”的帅印、帅旗，国务院的印章、外交部的重要档案资料先回奉天帅府的。当这批人安全地到了奉天之后，元帅府方在北京发出一项重要声明，说“北京政府发表一切重要文告、命令，仍须由大元帅盖印方称有效。”这就是说，作为权利的中枢，北京已经失去效应了，只有奉天才可以行使实权。
张作霖一身轻松地想：“明天，我明天一定动身。我要在奉天行使我的‘安国’大权了。”一想到明天就要离开北京，他心里竟也产生了眷恋：北京，毕竟是人人向往的地方，是争权者的最崇高理想地！常常为一个人的如此崇高理想，要牺牲多少宝贵的生命？得如此，失也如此！张作霖回想起自己这许多年能走到这里来的漫漫路程，他觉得太艰难了。然而，他又十分庆幸自己的走。“没有人把我赶出去，而是我自己要退！没有因退而失宠，没有因退而付出众多牺牲！”他觉得他还有回到北京来的那一天，他有信心把那一天过得更光彩！不过，当张作霖立起身，透过窗子望见院中那明明灭灭的华灯，隐隐现现的楼台殿阁和郁郁葱葱的花草树木时，他还是产生了留恋，因留恋而忧伤——北京毕竟是集权的象征，是他用无数头颅铺路才进来的，离开北京，又总是说明一种失落，一种凄楚。“我张作霖何尝不是被人逼出北京城的！？”
夜深了。夜特别寂静。整个中南海都无声无息地沉睡了。
张作霖走出他的卧室，他想在庭院中看看，又想到整个中南海都走走——他进到这里来快一年了，还不曾看看这座神圣院落的一切。认真地说，中南海是个什么样儿？他不知道。昔日他十分憧憬它，他十分企望这里有他立足的地方，成为他的；可是，当他进来了，他又麻木得对她寡情！他没有时间、没有心情呀！无论他张作霖心计如何，他到中南海来得太特殊了，也无论文治还是武治，岁月都没有给他平静的氛围，他无暇去观赏他居住的这片环境，他的精力都在打仗上了。现在要走了，何时再回来？渺渺茫茫！
张作霖的脚步刚跨出门坎，院中流动的岗哨便紧张地向他敬礼！他心里一阵不平静，仿佛失去了自由一般。他站立下来，只朝着哨兵点点首。一阵轻风，翻动着地面上的乱纸片；纸片滚动着，撞击着，呈现出衰败和凄凉，又给这位即将离去的大帅猛然增添了忧伤。他抬眼四顾了一下，所有的房子里，都已经门窗掩闭，灯烛熄尽了，两天的紧张收拾搬动，都空了。只有他六太太的卧室还透窗送出一抹昏暗的灯光。他顺着灯光走去。
六太太正和三公子学曾对面坐着，好像是在商谈什么。张作霖进来，他们一起用惊讶的目光望着他，半天，六太太才说：“一连忙了几天，你还不抓紧休息一下。”
张作霖只对他点了点头，便走到学曾面前。问他：“东西都收拾好了吗？”
学曾说：“收拾好了。”
“这些天学业都荒废了吧？”
“没有。”学曾说：“和往常一样用功。”
张作霖点点头，自言自语、又像是交待六太太。“我总在慌慌张张地度日，几个孩子的学业都荒废了。回东北之后，务必拿出更多的精力教养儿女，不能让他们像我们这一代似的，只懂得拼杀、争夺。要有学问才能治天下！”
六太太这才走近他身边，呆痴了半天说：“回奉天再别出来了，安安生生地过几年吧。把事情都交给汉卿。他能办事了，很有心计，你该放心。”
“放心，放心。”张作霖说：“六子成熟了，我放心！”
又停了片刻，张作霖便走出去。他再也不到什么地方走了，回到卧室，关上房门。
6月3日。
红日刚刚升起，十几辆大汽车便开进了中南海。各房屋的门都推开了，人们慌慌张张地朝外抬箱笼，又慌慌忙忙地把箱笼装上汽车。汽车穿梭于中南海和前门车站之间。慌张了整整一天，才算平静。
傍晚，当大帅的随行人员靳云鹏、潘复、何丰林、刘哲、莫德惠、于国翰及日本顾问町野、仪我等都集中到张作霖身边等候出发时，元帅府秘书长任毓麟匆匆找来密电处长周大文，对他说：“要动身了，发一封电报给（奉天留守司令）吴俊升吧，通知他，如有要电可拍到京奉沿线专车中。”
这位心神不定、唯恐途中出事连裹伤的救急包、饼干都私备好了的处长，匆匆发出了在北京的最后一份电报，这才把所有的机器拆下搬上了汽车。
一整天，天空都是晴朗的，到傍晚，忽然飞来片片浓云，中南海一下子变得灰蒙起来，怀仁堂、居仁堂、藕香居、丰泽园、纯一斋，远近楼台都笼罩着一幅灰暗的轻纱。在六太太陪同下，张作霖慢腾腾地走出纯一斋，他身后跟随着儿子张学良、张学曾。
在几辆低矮的汽车前，张作霖停住了脚步，神色惨淡地望了面前一下，然后伸出手同靳云鹏等人握手。却没有言语。当他来到送行的杨宇霆面前时，他有些愣神了，好像有许多话要说。然而，只有心情的激荡，目光的凝滞，语言却没有了。他好像感到了眼角的湿润。他拿出手帕，轻轻地揉了一下，然后才快步走上去，同他紧紧握手。握得紧紧地，好久好久！
张作霖登上他天蓝色的防弹汽车时，仿佛听到红墙外有枪响。他机灵地朝外望望，已经暮沉沉的天空有两只觅巢的乌鸦正匆匆地飞过。他叹息一声，便死死地扣上车门。
前门车站和张作霖经过的街道一样，戒备森严，冷冷清清，连那高悬低吊的华灯，也十分灰暗。在车站，张作霖一下子又恢复了平时的豪放，他立在车旁，满面带笑，扬着手对送行的人群说：“你们在这里多辛苦几天吧，我先回去了，先回去过五月节了！”
张学良走到他面前，心事重重地说：“爹，你老一路保重。”
“没事，”张作霖还是乐哈哈地说：“你们都放心。”他在车门口向送行的人挥手告别后，走进车厢。
张作霖回奉天的专车共二十二节，是由铁道部精心组合的。张作霖乘坐的包车厢在中部，那是一节最豪华的花车，是当年慈禧太后的专车，好久没有人用它了。这次使用之前，铁路部门又精心修饰了三天，一切都恢复了当年的风采。花车专厢前是两节蓝色的钢板车，他的高级助手刘哲、莫德惠、于国翰等人乘坐在上面；花车专厢后是饭车。其余车厢分别乘着随行工作人员和装载箱笼行李。一列压道车在专车前先行了。专车的所有车门和连接处，都安置了荷枪实弹的大兵，枪口对外，子弹上膛，兵士们聚精会神，目不转睛地窥视着窗外……
专车由北京开出后，直驶天津。在天津站，靳云鹏、潘复、杨敏殉下车了；日本顾问町野也下车了。町野是张作霖让他下车的，派他去山西联系阎锡山，希望能同他重新结好。下车前，张作霖握着他的手说：“町野先生，这一趟让你辛苦了。到山西见了伯川（阎锡山字伯川），就说我十分惦记他，我一直等待与他再度合作，我知道他会同我合作的。”
町野说：“大帅放心，我一定不辱使命！”
专车从天津站开出，人们都紧张了。因为下一站就是山海关。那里，日本关东军已经明着、暗着驻扎下大兵，近期关系又如此僵持，能容易出关吗？卫队所有的军官都走上车门，他们警惕着道路两旁，车上的探照灯齐明，两侧数十米道路河流、村舍树木都观察得清清楚楚。
一度平静的张作霖猛然也紧张起来，好象他今天方才意识到山海关是“关！”
山海关，这座长城之首的天下第一关，北依角山，南临渤海，是东北三省与华北平原沟通的咽喉，形势险要，交通要冲，历来为兵家必争之地。凭仗着她，张作霖安居于东北，中原各种英雄谁也不敢轻易触犯。往日，山海关给张作霖带来过兴奋，他几次率大兵出关征战，他的势力曾经伸展到黄河以南，伸展到长江三角洲。那是何等的威武！这一次，他就是胜利出关之后，才有了北京，才有了执掌大政的安国军大元帅和安国军政府。然而，山海关又不无使他十分痛心的地方，他曾一败涂地从那里跑回东北；他的部下郭松龄也是从那里打进来几乎吞掉了他；现在，他又要缩回关外，虽然不是彻底败北，但却并非凯旋！而况日本帝国主义正在眈眈仇视着他，说不定今天就出不了关！
除了卫队之外，车厢里的所有人（包括文职）都作好了应急准备，仿佛要在车站上或包厢里开展一场巷战，一场白刃战！张作霖也把身上的自卫手枪拿出来。
山海关车站十分平静，灯光闪烁，星月辉映，两名站岗的日本守备队士兵，安闲地在缓缓移动，一二车站工作人员手操着工具灯在正常工作；车站之外，还传来零星的夜市吵喊声和一二声车响。人们悬着的心这才缓缓地放了下来。
留守奉天的吴俊升已经赶到山海关车站。专车停下之后，他匆匆走上车去。第一个同他照面的，是大帅府密电处长周大文。吴俊升笑着同他握手，说：“老弟，你给我来的电报看见了，你们都辛苦了。”又说：“大帅呢？”
周大文指着前面花车，吴俊升去了。吴俊升把带来的卫队安排上了车，这才走到大帅车厢。“大帅你辛苦了！”
张作霖朝他伸出手，说了声“你好呀！”然后拉他坐在身边。“我……我这就放心了。”
吴俊升一时不理解这话指的是什么？只好点头应和着说：“大帅放心吧，放心吧。”
专车平安地开出山海关车站。
紧张了半天的卫队把枪放下了，其他车厢里的随员也收拾了防身武器解衣钻进卧铺。张作霖对吴俊升等人说：“咱们也该轻松一下了，打它几圈。”
吴俊升又喊来刘哲、莫德惠，他们搓起了麻将。