而张作相太了解张作霖的心思了，他也开始玩花招。一会儿是说必须张作霖亲自到场才能签字，而张作霖在北京，哪有时间回来啊。可日本人又逼张作霖给他打电话，亲口交代他全权办理。
张作相这一招拖了一段时间，玩不下去了，就再来一招。向吉林省议会发电，说明关于签字的原委，并出主意让他们向大元帅发出反对签字的电报。他给吉林省议会说明原委：张大帅想得到日本人的借款用作军费，但不想和日本人签约修路，请你们立即以议会的名义反对。
吉林省议会等团体迅即回电： “无论日本人玩弄什么权术，亦断不能允许给他们以该项铁路权益，必须坚决拒绝。”张作相得到这封电报，有了不敢轻易签字的理由，就拒不签字了。张作霖在这时候倒也的确在与日本人斗智斗勇，希冀减少中国的损失。
涉及吉林、黑龙江的四条铁路，就这样在张作霖与张作相等人连拖带骗的手段下，怎么也签不了字。不过， 《满蒙新五路协约》里还有一条吉敦铁路的延长线，日本人希望再怎么着也得把这份文件签了。
张作霖知道不能把日本人逼太急了，便对日本人说他可以签字，但江藤丰二认为，大元帅签字不合手续，想请当时的代理交通总长常荫槐签字。然而，常荫槐躲到天津去了，而路政司长刘景山一看事情要落到他的头上，立马辞职，他们都不愿意做日本人的工具。张作霖没办法，只好命航政司长赵镇代签。
张作霖是答应签字了，但他只答应允许修筑自吉敦路终点延长至图们江的一段铁路，由日本垫款日金500万元，并订立了合同。其他四条不是这个原因就是那个原因，反正不能签字。
有总比没有强，签下一条铁路来也是好的，日本人决定尽全力先签订《吉敦铁路延长垫款合同》。那时交通总长常荫槐出差了，赵镇作为临时代理，而常荫槐掌管的交通部大印和个人名章也暂时由赵镇保管着。
赵镇一再表示自己只是临时代理，没有权力擅自动用交通部大印，如果要他盖印，那需要政府的特别授权。于是潘复就请张作霖写了一个手谕：“常荫槐名章由赵镇代钤”。有了尚方宝剑，赵镇就在已打好字的“常荫槐”名下盖了章。
签是签了，可是履行起来还是跟没有签字一样，先是张作霖授意各大报纸泄漏消息，激起人民团体的反对，他好再次拿起秘密武器“拖”。拖到了一定时间后，张作霖召见日本顾问河野，跟他说战事已停，垫款无用，合同可以解除。
河野说自己报告了军部，政府的决定是此案已完全成立，绝对不可以终止。张作霖说： “我已经决定不打仗了，借款就没用了，还用得着这个合同吗?将来要是想修铁路，咱们再另外订立一份新合同吧。”
张作霖的意思很明显，那就是他向日本人借的500万元本来是要拿去打仗的，现在不用了就要退给日本人。也就是变相地说， 《吉敦铁路延长垫款合同》又无效了。
日本人策划的《满蒙新五路协约》总共涉及五条铁路线，经过一变再变，最后只剩下了《吉敦铁路延长垫款合同》。现在，张作霖连这最后一份合同都千方百计地想要撕毁。这就是说，闹了几年，日本人没有从张作霖手里得到任何东西。日本人已经愤怒到了极点，对张作霖起了杀心。最后紧逼
张作霖不肯签字，签过字的也不打算履行，这样形同江湖骗术的伎俩让日本田中义一首相非常恼火。他给日本驻华公使芳泽谦吉下达了死命令：利用张作霖失败的形势，逼迫张作霖签约，一揽子解决满蒙悬案。
芳泽谦吉深夜造访张作霖，强硬威胁他必须答应日本人的要求，否则将立即转向支持蒋介石，张作霖却说： “少来这套，我失败了，中国就将赤化，对你们日本有什么好处?”
实在没辙了，芳泽提出了满蒙权益的要求，请张作霖签字。还说张宗昌在济南杀了几十名日本侨民，要张作霖负责，张作霖顿时大怒： “这事没有任何人向我报告，也没有什么人调查事实，谁知道究竟是怎么一回事。这就叫我负责，我负什么责?让老子签这个字，签完字老子立马变成汉奸，老子就算是死了，也不能做这种叫我子子孙孙们抬不起头来的事情。”说完之后，就扔下芳泽，怒气冲冲地离开了客厅。
接下来，日本人出炉了一份觉书，分别给了北京政府和南京政府，意图在两个政府之间制造分裂，看看哪个政府能上钩，历史上称之为“五一八觉书”。没想到，日本人再一次失算了。
5月25日，北京军政府外交部复照日本公使芳泽，声明东三省及京津均属中国领土，表示日本“所称以动乱行动将及于京津，影响东三省地方，不得不采取适当有效之措施一节，本政府断难承认。”对日本的威胁给予强烈的回击，表明张作霖在领土主权问题上的严肃立场。5月29日，南京国民政府对日本18日的觉书也表示“万难承认”。
两个政府都拒绝承认日本人的最后通牒，日本人的愤怒已经到了极点。但是日本人还是想做最后的努力，想从已经失势的张作霖那儿讹一点是一点。于是，日本驻华公使芳泽谦吉急访张作霖，他还是为签订密约落实之事来的。他先放出诱饵，说日本将以绝大之助力迫退南军，使得划江而治，中分天下，这是在变换花招诱使张作霖上钩，以答应他们的苛刻条件。
张作霖当即严词拒绝：“我们谁胜谁败都是自己的家事，这跟你们日本有什么关系?我宁可被南方军队打败投降，也不愿意借你们的帮助保住这个毫无意义的小朝廷。”
但为了缓和气氛，张作霖让芳泽留下了他带来的合同条约。这让芳泽误以为张作霖心里还是想签订的，希望重新燃起。他哪里知道张作霖的心思：我玩不死你!
过了十几天，芳泽又来见张作霖，芳泽问： “上次我交给阁下的文件，已经签字了吗?”张作霖答： “这两天太忙了，还没来得及仔细看看，等我签字以后，再通知你来取吧。”张作霖又给他搪塞过去。
又过了两周，在6月2日那天，芳泽用电话问张作霖，那个文件签字了没有?张作霖令陈庆云回话，让他明天下午5点来取。要知道，6川{日张作霖就要离开北京回奉天了。芳泽如约在6月3日午后4时30分到达中南海，张作霖在办公室没有出来，而是安排人引导他在客厅里等候。
这时，一个意外的情况发生了：张作霖戏瘾发作，又要练练。
张作霖在自己的办公室内，高声大骂： “日本人不够朋友，竟在人家危急的时候，掐脖子要好处。我张作霖最讨厌这种办法!我是东北人，东北是我的家乡，祖宗父母的坟墓所在地。我不能出卖东北，以免后代骂我张作霖是卖国贼。”这些话就是有意说给芳泽听的。
当时，芳泽在客厅里，听得很清楚，坐立不安，急得打转转。约半个小时以后，张作霖从办公桌的抽屉里拿出一叠文件，叫人交给芳泽，并对芳泽说：“他今天太忙，不能会见了。还请原谅。”
芳泽当时没有看这个文件，回到公使馆，打开文件一看，只见张作霖在每个文件上，都写了一个“阅”字，并没有签署他的姓名。再挂电话询问时，他已经回奉天了。这些文件，就是张作霖同关东军参谋长斋藤在1925年冬所签订的五项协定及其实施办法。芳泽把文件拿回公使馆后，打开一看，一下子坐到了地上，他知道，自己又被张作霖耍了。
痛定思痛的日本人仔仔细细地回想了他们自从与这位东北王打交道以来的点点滴滴，起初他们以为“张作霖出身绿林，头脑简单，容易利用”，但事实上，张作霖一点都不简单。
他不光头脑清醒，而且鬼点子还花样翻新。他不断向大日本帝国表忠心，换来日本人对他的支持，但日本人事后一算账才发现，他们在张作霖身上竟然没有捞到半点好处。他们想玩弄张作霖于鼓掌之中，却没有意识到，自己才是孙猴子，而他张作霖才是如来佛。
几近疯狂的日本人终于真正狂怒了，他们实在咽不下这口气，堂堂的大日本帝国上到首相，中到外长总领事，下到关东军各级军官、满铁株式会社社长总裁，一干人等居然被一个绿林出身的张作霖耍了若干年。是可忍孰不可忍，不杀张作霖，誓不罢休!
一个巨大的阴谋在悄悄进行中!
卑鄙的暗杀计划
已经完全失去耐心的日本关东军召开了特别会议，讨论谋杀张作霖的问题。“张作霖对日本的态度历来很不驯顺，有必要趁此时机从东三省把张铲除，而另以他人代之”，这就是日本人的基本态度。在这次会议上，他们最终确定了暗杀张作霖的决策。
在这次会议上，有一个叫做河本大作的人，当时的身份是日本关东军高级参谋。他是以随员的身份，参加了日本东京的东方会议，而他就是狂妄叫嚣要用武力解决满蒙问题的人之一。就是这个职位并不很高的人，在会议上极力主张暗杀张作霖。
日本人还在担心东北的复杂局面，担心一旦张作霖遭到“定点清除”，东北军阀群龙无首，会不会造成更加混乱的局面，但河本大作狂妄地说：“我认为，只要杀掉张作霖一个人，所谓奉天其他军阀们就一定会一哄而散，一盘散沙。”大日本帝国在满洲的问题上只有一条路，就是必须除掉张作霖，而且应该尽快执行!
1928年5月18日，就在田中声明发表的同时，关东军司令部也召开了秘密会议。会议上其实讨论的是怎样趁张作霖败退出关之际逼迫他下野，还没有正式讨论暗杀问题，但列席会议的河本大作却怒吼狂叫：“下野绝对不是解决问题的办法，杀掉张作霖岂不是更加干净吗?”
他进一步阐述自己的理由：“让张作霖下野，那就必须再找一个接替他位置的人，谁能保证这个继承人能听从我们的命令?万一来_个比张作霖还难控制的人怎么办?如果我们杀掉张作霖，张学良必定不会善罢甘休，他的部队也一定会发生骚乱，我大日本军队就可以借口维持治安，一举解除奉军武装，全面占领满洲。满洲控制在我们手里，就可以随意选派我们满意的人来组织政府，满洲问题不久迎刃而解了吗?”
他的发言得到了日军中多数人的拥护，关东军司令官村冈长太郎中将因为得到了田中首相“放手而为”的指示，于是当场决定照河本的主张行事。于是，一场暗杀张作霖的计划悄然开始。
其实在最初日本关东军高层已经选定的执行暗杀计划的人选中，并没有河本大作，而是竹下义晴。但河本大作通过探问得知真相后，便主动将暗杀的任务揽了过来，虽然竹下认为这有违军令，但河本最后还是说服了竹下，由河本主持暗杀张作霖的任务，而竹下听从他的指挥。
河本当即派竹下和田中两参谋，赴北京侦察张作霖回奉天的准确日期。他们二人很快就拍来了密电，说张作霖已经决定出关，并报告了火车的预定行程。因此，河本便派出关东军特务机关的石野芳男大尉到山海关，武田丈夫、神田泰之助到新民屯等京奉铁路要地，命令他们切实监视火车到达和启动的具体时间、地点，并及时报告他。
由于张作霖护卫严密，在其他地方进行刺杀活动很难成功，所以暗杀肯定要在铁路上进行。为了选好最佳地点，他们仔细研究了地图，开始选定了巨流河上的辽河大铁桥，于是派工兵队去侦察，结果发现奉军戒备森严，无隙可乘，这个地点只得放弃。
河本并不死心，他与手下连夜开会讨论，最后确定下来，满铁线和京奉线的交叉点最为安全。因为满铁线在上面，京奉线在下面，日本人在那里活动，不会引起别人的注意。同时，根据非法的《南满铁路条约》，中国军警不能靠近南满铁路。这就为他们的布置埋设重磅炸药，提供了便利条件。
关于暗杀方法的问题，他们也动了一番脑筋。具体说来主要能选的也只有两种手段，一是开炮轰击张作霖专列，二是预先埋下炸药炸毁列车。
这两种方式都有优点，也都有缺陷：用第一种方法成功率最高，炮弹准确性高而且可以随时监控连续轰击，但是日本人也就暴露了，所有人都会知道是日本人干的；用第二种方法可以保证事情的隐秘性，但炸弹难以保证准确命中张作霖专列的具体车厢，很可能造成张作霖虽受伤但不至于毙命的情况出现。
左右权衡之下，日本人还是决定采取第二种方式，因为日本还没有做好全面侵华的准备，不想让自己成为众矢之的，所以预伏炸药就成了最后的选项。
为了防止爆炸失败，他们又策划了第二道计划，就是当火车出轨翻车后，他们乘混乱之机，派荒木五郎带领刺刀队冲上去刺杀。
计划一定，日本关东军派工兵在铁路交叉点上连续工作了六个小时，将120公斤黄色炸药分装在30个麻袋内，装置在铁路交叉点桥墩上面的两处地方。为了保证爆炸成功，他们还设置了两道爆炸装置，并在桥墩500米外的嘹望台上设有电线按钮，用人来控制精确引爆。
一切就绪，就等那个时刻了，然而大难临头的张作霖仍然蒙在鼓里。
在劫难逃
张作霖对日本阴谋刺杀他，已经有所耳闻，但他不太相信日本人会在这个时候真的暗杀他。为了以防万一，他想坐汽车走公路，绕道古北口出关，但是那时候没有高速公路，地面崎岖颠簸，张作霖的身体实在吃不消，最后还是决定坐火车回奉天。
就在这时候，担任奉天宪兵司令的齐恩铭发现了一个异常情况，因为手下的宪兵向他报告说，日本守备队在皇姑屯车站附近的老道口和三洞桥四周，日夜放哨阻止行人通行，看样子像是在构筑什么工事。这个情况非同小可，齐恩铭立即以密电向张作霖报告，请他重新考虑回来的路线。可是，张作霖对齐恩铭的提醒，还是没有引起足够的警觉。
当然，张作霖并不是一点防范都没有。为了迷惑可能存在的敌人，他宣布自己将于6月1日出京，命令京奉铁路上的专列升火待发。等到那一天上午，他又突然宣布日期改为6月2日。那一天，火车倒是准时出发了，汽笛鸣响，火车轰轰，招摇过市，但车上坐的并不是张作霖本人，而是他的五姨太以及打杂的下人，还有部分下级军官陪同。
直到6月3日，张作霖才和全体随行人员到达前门东站。即使是败军出关，张作霖依然不改自己的派头，他身着大元帅服，腰配短剑，层层护卫前呼后拥，来到了车站的月台上。这时候，来送行的人已经挤满了月台，这些人包括北京元老、社会名流、商界代表，以及各国使馆等中外要人。
早上6点30分，列车到达天津，褚玉璞、王占元、阚朝玺等官员特意前来相送，同时靳云鹏和潘复就在天津站下了车，跟他们一同下车的还有张作霖的日籍顾问町野武马。
这个细节没有引起在场的人足够的警觉，张作霖忙于接待来送行的各级官员，也就忽略了他的存在。其实这个町野武马一直是日本安插在张作霖身边的间谍，他从头到尾都参与了是否让张作霖“多活几天”的讨论，而且对刺杀张作霖的计划已有耳闻。但是为了稳住张作霖，他也故意上车送上一段，也好为自己日后洗清嫌疑。