餐毕，王阳明独自一人步行至殿后，发现在那里有一老道正在打坐。老道看见是王阳明突然前来，十分惊讶，赶紧起身说道：“贵人您还记得无为道人吗？”
王阳明仔细观之，这位老道原本是二十年前铁柱宫所见的无为道人，时光荏苒，但他的容貌俨然如昨，不差毫发。
无为道人说道：“我之前告诉你我们二十年后相见于海上。我当年没有欺骗你吧。”
王阳明十分喜悦，这真可谓是他乡遇故知，因此与无为道人对坐，问道：“我今与逆臣刘瑾结下了怨仇，所幸的是劫后余生。我现在打算隐姓潜名，隐遁世间。但是不知道何处可以容身，还请道人您给指点一二！”
无为道人说道：“你不是还有亲人在俗世吗？万一有人说起你不死，你的敌对迁怒到你的父亲。如果他们诬告你的父亲在北边私通胡，南走越。到那个时候你们百口莫辩啊！你势必将进退两无据呀。”
无为道人于是为王阳明作诗一首。诗曰：
二十年前已识君，
今来消息我先闻。
君将性命轻毫发，
谁把纲常重一分。
寰海已知夸令德，
皇天终不丧斯文。
英雄自古多磨折，
好拂青萍建大勲。
王阳明佩服无为道人的孝亲之言，又感动于他鞭策鼓励自己的心意，于是决意奔赴谪地，之前索笔题一绝于殿壁。诗曰：
险夷原不滞胸中，
何异浮云过太空。
夜静海涛三万里，
月明飞锡下天风。
（原题为《泛海》）
在困难悲痛之巅却反而激发出了王阳明豪健有力的精神，诵读此诗令我也顿生天空海阔之感。
后来，王阳明打算向老道辞行。
无为道人说道：“我知道你现在没有旅资了。”说话间从衣囊中取出银锞一锭（通货银片——原作者注）为赠。王阳明得此盘缠，于是从山间小道游览武夷山，路过铅山。从广信府经过上饶县时，他还去拜见了故交娄一斋。
娄一斋见到王阳明大惊，说道：“之前听闻你溺毙于江水。后又传因你为仁得以救之。正未知虚实，今日得相遇，实在是斯文有幸。”
王阳明说道：“我幸而不死，现在打算前往谪地。只是未见老父之面，十分担心他因为我的事情忧悒成病。这是我唯一的牵挂。”
娄一斋说道：“你的敌对刘瑾迁怒于你的父亲，已降其官为南京宗伯（神祇官）了。此去归途你可与父亲一见。”
王阳明大喜。娄一斋公留王阳明一宿，并资助以路费数金。
王阳明径往南京，归省途中拜见了父亲龙山公王华先生。父子二人相见出自意外，恰如枯木逢春，喜不自胜。然后王阳明再绕道折回老家余姚，探访疼爱自己的祖母。王阳明居住数日后不敢再作长时间停留，即于正德二年（1507）十二月底辞别亲人立刻向贵州龙场驿进发，去那里担任驿丞之职。一行仆从总共有三人。