张学良、杨宇霆等亦"力劝老将回奉"。5月30日，张作霖召集张作相、孙传芳、杨宇霆、张学良举行会议，决定下总退却令。6月1日下午，"邀外交团入府"，在怀仁堂与外交团告别。他在致词中，以极悲痛的语句，向各国使团表示他的"讨赤"立场。他说:"余为中国计世界计，始终矢志讨赤，至保护外侨生命财产，即余在满洲时......亦未尝一日忘怀，今后仍然请各位放心。"6月2日，张作霖发表了"出关通电"，说明自己到北京"本为救国而来，今救国志愿未偿，决不忍穷兵黩武。爰整饬所部退出京师。"张作霖虽通电"退出京师"，但决不甘心放弃既得的统治地位。在离京前(6月1日)，他命许兰州将"安国军大元帅"的印、旗、国务院的印信、外交部的重要档案全部运往关外，并下令"一切重要命令，仍须由大元帅盖印发表"，梦想"在关外庞然自大，一过其大元帅之瘾"，企图有朝一日卷土重来。

张作霖离京回东北，日本关东军高级参谋河本大作已经为他布下"必死之阵"，在距沈阳一公里半的皇姑屯火车站附近的桥洞下放置了三十袋炸药及一队冲锋队。尽管张作霖行前曾接到部下的密报，说"老道口日军近来不许人通行"，希望多加防备，张作霖也三次变更启程时间，以迷惑外界，但他并未料到会有此杀身之祸。

1928年6月3日晚6时，张作霖离开北京大元帅府，乘坐由奉天迫击炮厂厂长沙顿驾驶的在英国制的黄色大型钢板防弹汽车，奔往火车站。随行的有靳云鹏、潘复、何丰林、刘哲、莫惠德、于国翰、阎泽溥、张作霖的六姨太太和三儿子张学曾、日籍顾问町野和仪我等人。张作霖的专车22节，是清朝慈禧太后用过的"花车"，装饰非常华丽，他乘坐的80号包车在中间，包车厢后是餐车，前边是两节蓝钢车，里头坐着潘复、刘哲、莫德惠、于国翰等人。专车前面还有一列压道车作前卫。晚上8时，专车从北京车站开出。深夜，列车风驰电掣地开到山海关车站，黑龙江督军吴俊升专程在这里迎候。

1928年6月4日清晨，日本驻奉天总领事林久治郎很早就起了床，登上住房屋顶用望远镜朝三洞桥瞭望。5时23分，当张作霖乘坐的专车钻进京奉(北京至沈阳)铁路和南满(吉林至大连)铁路交叉处的三洞桥时，日本关东军大尉东宫铁男按下电钮，一声巨响，三洞桥中间一座花岗岩的桥墩被炸开，桥上的钢轨、桥梁炸得弯弯曲曲，抛上天空，张作霖的专用车厢炸得只剩一个底盘。吴俊升炸得血肉模糊，头顶穿入一个大铁钉，脑浆外溢，当即死亡;张作霖被炸出三丈多远，咽喉破裂;日籍顾问仪我满面是血，抱头大叫;校尉处长温守善被埋在碎木下面;周大文炸破了手，六姨太太炸掉了脚趾头;莫德惠也受了伤。