1928年5月13日和15日，日本得寸进尺，要他"解决满蒙诸悬案"。据《时事新报》揭露:当时日本曾向张"提出条件十款，其苛毒不忍言"。有人回忆:芳泽曾屡次逼张，要他履行所谓的"密约"。为逼张作霖退回东北，5月17日晚，日使芳泽会见张作霖，与张谈至深夜。芳泽说:"大势已经如此，为使战乱不波及京、津，收拾军队撤回满洲以维持满洲治安，我想无论对中国国民还是对奉天派都是万全之策。"张作霖听后不悦，严词拒绝。芳泽继续追问说:"你们能打过北伐军吗 !"张作霖说:"若打不过他们，我们可以退回关外。"芳泽说:"恐怕未必回得去吧。"张作霖说:"关外是我们的家，愿意回去就回去，有什么不行呢 "

芳泽见张作霖不上其圈套，就进一步采取威胁手段，从怀里掏出日本政府关于满洲问题警告南北双方的觉书。并向张作霖提出"满蒙权益"的要求，逼张作霖答应。不仅如此，他又向张作霖威胁说:"张宗昌的兵在济南杀死几十名日本侨民，你对此应负一切责任。"这一连串的威逼，使张勃然大怒，由座上猛地站起来，把手里的翡翠嘴旱烟袋猛力地向地下一摔，搕成两段，声色俱厉地冲着芳泽说:"此事(指张宗昌杀日侨事)一无报告，二无调查，叫我负责，岂有此理!"他说完之后，就扔下芳泽，怒气冲冲地离开了客厅。三个多小时的会谈就这样结束了。

那时，张作霖本想"留在关内"，他对日本的逼迫行径"非常不满"。因而不但口头上拒绝了芳泽的"劝告"，而且于1928年5月25日发表书面声明，反对日本1928年5月18日的"警告"。日本见张作霖不听摆布，对他继续施加压力，警告他:如果不听劝告，失败后想回东北，"日军当解除其武装"。同时，日本关东军也"开赴沈阳、锦州、山海关等地，并将关东军司令部由旅顺迁至沈阳，在沈阳满铁借用地分设六大警备区，日侨也组织日勇千余，剑拔弩张"。

在内外交迫下，张作霖不得不表示离京。在日本迫使张作霖退回东北的时候，奉系内部的"新派"，为便于和蒋、阎妥协，也劝张作霖离京。张作霖在答复中表示"东三省及京、津为中国领土，***所在，不容漠视"，反对日本政府公然干涉中国内政。

当时报刊报道说张作霖"有不得不出关的苦衷":(一)张不离京，一切妥协和其他事均无从说起;(二)奉军新派人物，均极盼张速去，以望与党方合作"。同时，奉军在军事上节节失利，军心早已动摇。

张学良、杨宇霆等亦"力劝老将回奉"。5月30日，张作霖召集张作相、孙传芳、杨宇霆、张学良举行会议，决定下总退却令。6月1日下午，"邀外交团入府"，在怀仁堂与外交团告别。他在致词中，以极悲痛的语句，向各国使团表示他的"讨赤"立场。他说:"余为中国计世界计，始终矢志讨赤，至保护外侨生命财产，即余在满洲时......亦未尝一日忘怀，今后仍然请各位放心。"6月2日，张作霖发表了"出关通电"，说明自己到北京"本为救国而来，今救国志愿未偿，决不忍穷兵黩武。爰整饬所部退出京师。"张作霖虽通电"退出京师"，但决不甘心放弃既得的统治地位。在离京前(6月1日)，他命许兰州将"安国军大元帅"的印、旗、国务院的印信、外交部的重要档案全部运往关外，并下令"一切重要命令，仍须由大元帅盖印发表"，梦想"在关外庞然自大，一过其大元帅之瘾"，企图有朝一日卷土重来。