衣是争的开始，有了衣大家就互相斗争，争这衣而作祖师。甚至有的偷了这衣而作假的祖师。
此衣在四祖时被偷过三次，五祖时又被偷三次，但都没偷成。在六祖时曾被偷六次，但后被武则天硬给拿去，以后下落不明了。
五祖继续说：“衣钵是争端的开始，只传到你为止，以后不要再传下去了。如果要传此衣钵，恐怕命如悬丝，随时有断的危险。你赶快离开此地，因我怕有人会加害於你。”
说罢，惠能收起法衣，五祖连夜亲送六祖离寺到九江渡口，这时天已大亮。惠能便问：“那么我该向何处去宏法度生呢？”
五祖再三叮嘱：“你离开后，要把佛法带到南方。为了安全，三年之内你必须混迹百姓之间，暂不宣法，以免暴露。逢怀则止，逢会则藏。你到怀集就可以歇止，若到四会就隐藏起来。大难过去，待时行化。你要善于引导迷惑者，若能使这些人开悟，那么他们就和你一样，成就佛智了。”
惠能又问：“弟子本是岭南人，素不熟悉此地蜿蜒山路，我如何出得江口呢？”五祖道：“你不需忧愁，我会亲自送你去吧！”
五祖把六祖送到九江浔阳驿的地方。
五祖吩咐说：“你快上船！”就拿起摆船的橹使船开行。
惠能说：“师父！请您坐著，应该由我来摇橹。”
五祖说：“应该我来渡你才对。”
惠能说：“迷时师度，悟了自度；”虽同是一个度字，用处不同。惠能生在边远，语音不正，蒙师传法，今已得悟，应当自性自度了。
五祖点头称是：“不不错，此真契合我心意。以后佛法将由你发扬光大。你离别我三年后，因我传法有人，我将进入涅槃。你现好好向前努力精进，向南方去吧！你要韬光晦迹，养精蓄锐，将来则战无不胜、攻无不取。但是去后不要急着弘扬佛法，否则佛法就难传了！因佛法是从难中兴起的，愈难愈好。”
这包括不怕腿痛及辛苦。六祖天天舂米比任何人都辛苦。惠能舂米坠腰石，现还在湖北冯茂山东山禅寺保存著，上面刻著“惠能卢居士舂米的坠腰石”几个字。
大师吩咐完毕，一声珍重，船老大一点竹篙，船即划破清波，向东而去，但见“孤帆远影碧空尽，唯见长江天际流。”不一会船即隐入茫茫烟波中。此后惠能回到广东，隐遁于四会、怀集二县间。
坠腰石