“我想削除朝廷官员后代子孙的官爵荣衔等一事，我们不要开其端。不要忘记，这种情形也许有一天会落在我们后代的身上。再者，司马光和韩琦的子孙受皇家恩赐已经十年左右。一旦削除，近乎残忍。”
章惇说：“不然。韩维辞官也不过在数年之前。”
曾布又接着说：“已经有六七年之久了。再者，他当权的时间也不久。要坚持惩处后代，那就只惩处司马光和吕公著的后代好了。我觉得咱们不应当惩罚所有他们的后人，只要削除死者的爵位也就够了。”
章惇说：“这又有什么用！甚至开棺鞭尸对他们也没有什么害处。把死人降级，他们又吃了什么亏？咱们能做到的最实际的，就是惩处他们的后人。”
曾布说：“你若那么做才满意，可是咱们还再多想一想，我也没有别的，只要咱们千万别创下先例。”
曾布以富有经验者的声音这样说，章惇后来果然作法自毙。他对苏东坡兄弟苛酷无情，在苏氏兄弟流放期间，他都不愿人家有一个舒服的住处。子由贬谪在雷州时，他把子由从官舍中逐出，迫得人家向民家租房居住。章惇立刻利用这个机会，控告苏氏兄弟借用官势，强租民房。这个案子又经官家调查，子由拿出租约为证，才算了事。后来，章惇也流放到雷州同一地方，也轮到他租房居住。当地老百姓恨此奸贼，对他说：“我们焉敢把房子租给你？以前我们把房子租给苏氏兄弟，几乎惹上了麻烦。”章惇并不是有虐待狂，他只是一心想报仇，又怕不把敌方斩草除根，怕有一天会东山再起。除去韩维之外，所有官吏都远贬到南方或西南，以种种不同的方式，或充军，或当酒监，仇恨不太深者担任太守职务。甚至年迈苍苍的文彦博，与人无冤无仇，四朝为官，在九十一岁高龄，也降级罢黜，遭受屈辱，一个月之后，便呜呼哀哉了。吕大防、范祖禹、刘挚、梁焘，都在流放中丧命。以上最后二人同死在七日之内，而此时章惇曾派出两个特使向各流放中的官员暗示自杀之意，使人相信他们都是被暗杀而死的。章惇胸中仇恨会如此之大，他竟发出命令不许梁焘运尸回籍，归葬祖茔。这是中国人认为最残忍的一类行为。
章惇最恨之入骨的莫如刘安世，因刘安世曾反对朝廷赦免他。朝廷曾派一个使臣远至南方把老太后的一名秘书处决，章惇也要他去看刘安世，因为当时刘安世也流放在南方，让使臣暗示刘安世自杀。刘安世是有名的好人，使臣竟不忍心开口。章惇不能达到目的，乃和当地一商人勾结，给他一个税吏的职位，让他前去谋害刘安世。这个商人已经在前去害人的途中，匆匆忙忙之下去完成此项杀人的任务，以使刘安世来不及逃脱。刘安世家已听到有此消息，全家正在哭泣，但是刘安世本人则泰然自若，饮食如常。半夜时分，此商人到达，走到门口，竟口吐鲜血，倒地而亡。刘安世后来竟得寿终正寝。
在此惨酷的迫害鬼影的幽冥地界里，范纯仁的性格人品还放出一道光明。苏东坡遇见名相范仲淹之子范纯仁甚早，那是在苏东坡和父亲弟弟三人入京途中，在江陵小住休息之时。后来一直相交甚善，彼此敬慕。但是苏东坡与他的交情不像和另外那两个姓范的朋友--范镇和范祖禹之间那么亲密。范纯仁为官清白，为名相之子，而且是接受太后遗诏的两位大臣之一。年轻的皇帝知道他的名望，所以迄今还未予加害。在四月，苏东坡与另外三十人同遭流放之时，范纯仁请辞官归隐。在他力请之下，皇帝允许他退隐于京都附近家中，而章惇则想把他和那三十人一同流放。
章惇说：“他也属于那一党。”
皇帝说：“纯仁公忠体国，并非元祐党人，他只是要辞官退隐而已。”
章惇说：“但是他之辞官表示不服，显然他与元祐党人同调。”
范纯仁并未家居甚久。吕大防，他虽然并非重要领导人物，但为政斐然可观，现在已经七十多岁，身老多病，已然在外流放一年有余。按照儒家人道精神，如此相待，实属不仁。但是没别人敢挺身而出，为此老人一言相救，只有范纯仁肯冒此风险。范纯仁的亲友都设法阻止他，但是他说：“我年近古稀，两眼将近失明，难道还愿贬谪外地跋涉千里吗？但是此事我义不容辞。我知道后果如何，但是势在必行。”他上疏当朝，请恕此老相，自己当然也被流放到南方去了。
老人欣然就道，由孝顺和睦的一家人跟着。每逢子女痛骂章惇，他就制止他们。一次，翻了船，他被救上来，衣服全都湿透，他转身向子女们戏谑道：“你们把这次翻船也赖章惇吗？”他几乎眼睛已经看不见，但是仍然和家里人过得很快活。后来，这位年轻皇帝去世后，新皇帝即位，对他爱顾有加。朝廷派御医前往诊治，并想要他重任宰相，但是他谢绝不就。在他遇赦之时，他家已经有十余人贫病而死，他自己则死于北归途中。
这次迫害自然也包括苏门四学士。流放出去的人也难落得消停，因为他们在流放中时，官位还继续贬低，而且还随处调动。朝廷为迫害元元祐大臣，还特别设立机构，所以元祐大臣无一得以幸免。此一机构把由神宗元丰八年（1085年）五月至哲宗绍圣元年（1094年）四月十年，太后摄政期间官方的资料，全予归档，甄别管理。只要开口反对王安石的财政经济政策，即以诽谤神宗论罪。在他们经详细调查之后，先后惩处了官吏八百三十人，分类档案计有一百五十二卷。终于在建立元祐党人碑时，迫害达于极点。元祐党人碑见第一章。
三月里，子由遭到罢黜，他是一直反对归回祖制的“绍述”政策。但是他遭罢黜的方式，足以证明那位年轻皇帝的昏庸。子由从历史引证前例，表明后代帝王往往修正前代帝王的政策。在那些伟大帝王之中，他引证的是汉武帝，在汉武帝统治下，中国的疆土开拓到突厥以外各地。那时章惇尚未拜相，当时有一李姓官员，想把子由的地位取而代之。他向年轻的皇帝说，子由把神宗比为汉武帝，是对神宗不敬。小皇帝对历史无知，便信以为真，便削除子由的官职，发到汝州为太守。数月之后，又调到高安。
流放岭南
哲宗绍圣元年（1094年）四月，章惇为相，他首先向苏东坡开刀。苏东坡是贬谪到广东高山大庾岭以南的第一个人。他被罢黜，剥夺了官阶，调充英州太守。他并非不知道会有这类情形，不过不知道第二次迫害会严重到什么程度。皇太后去世后，在往定州就职前，他正式辞行时，皇帝未允谒见，他就觉得危险即将到来了。他曾先后教过那个年轻皇帝八年之久，对他很了解。一年以前，他曾在一道表章里向小皇帝说得很露骨，倘若他不纳臣子的忠言，苏东坡宁愿做“医卜执技之流，簿书奔走之吏”，也不愿在朝中担任侍读之职。
可是来日如何，他并不真知道。左降英州太守并没有什么特别苦吃。章惇也算他的故交之一，在年轻时他和章惇往陕西山中游历，苏东坡曾戏称章惇将来会杀人不眨眼，不过二人还始终算是朋友。他自己的遭罢黜失官，他倒不以为奇。向朝廷弹劾他的数十条罪名，也是旧有的，而且已经弹劾多次，不外乎是“诽谤先王”，这个罪名是攻击元祐旧臣的陈词滥调。而罪证是在皇太后摄政期间，他代拟圣旨罢黜王安石一派小人。他代拟一般的圣旨倒无何重要，因为他是奉太后之命行事的。罢黜苏东坡的圣旨如下：
若讥朕过失亦何所不容，乃代予言诋诬圣考。乖父子之恩，绝君臣之义，在于行路犹不戴天，顾视士民，复何面目？汝轼文足以惑众，辩足以饰非，然而自绝于君亲，又将谁怼？
苏东坡现在要跋涉一千五百里，自中国的北部到中国的南部。他觉得他一生只是一站一站地往前走，而现在只是在他人生旅途中的另一步，这旅程是他呱呱落地时已由神灵决定，不过到现在他才充分明白罢了。在他五十七岁时，他已经饱历命运的荣枯盛衰，现在命运的转变在他也不以为奇了。命中注定他最后要完全与政治断绝关系，要符合他的夙愿，使他去度求之已久的常人生活。他现在向前行进，无忧无惧，心中一片安谧宁静。在过去的日子里，不管遇到何等问题，何等情形，他都以真诚勇敢之态度相向，他愿把一切付诸天命。
苏东坡以第一个牺牲者的身份，横越中国南部巍峨雄伟的山脉，受难之中却有一分卓然不群的优越感，他与家人起程南下。他弟弟子由已然在汝州上任，离国都很近，苏东坡先去看他，在金钱上弄得些接济。苏东坡对理财一事，并不见长。虽然在皇太后摄政九年期间，他走过一段好运，但时常各地调动，俸禄随即花光。另一方面，他弟弟子由宦途较为平稳，直升至宰相之位。苏东坡前去时，子由只能给他七千缗，供他家人在宜兴安居之用。他从子由处回来，发现又官降一等，但到南雄的派令并未改变。他给皇帝上了一道使人读之恻然的表章，请求允许乘船南下，作为对老师的一点儿恩宠。他怕陆行一千五百里，会身染重病而死于道侧。所请得蒙恩准，他送全家，包括三个儿媳妇到宜兴的苏家。大家泪眼相望，苏东坡决定只带朝云和两个小儿子同行。
他们到了南京对岸的仪征，已经是六月天气，迫害元祐儒臣的行动正在雷厉风行，名公巨卿之遭流放者，已有三十余人。苏东坡现在是第三次降官。他已经不够太守的资格，而是改派到广州迤东七十里的惠州充任建昌军司马。情况已完全不同，他决定让次子回宜兴农庄去，自己只携二十二岁的儿子苏过、朝云、另外两个老女仆前往。他的门人张耒，这时是靖州太守，派遣了两个老兵一路伺候他。
但是沿途穿过美丽的乡野，经过高山深谷，看动人心神的急流高山，苏东坡都充分观赏。他坐的是一只官船，在九江迤南鄱阳湖停泊时，出乎他意料，第四道命令又来到，又把他贬低官阶。运输官听到这条命令，派一队兵来要将船收回。兵来到时正是半夜。苏东坡与军官商妥，许他在船上住到次日中午。这时离通往南昌的湖上码头还有十二里。他若运气好，明天午前能到南昌，就安全无事；若遇逆风，他和全家以及行李就只好被抛下船来。他到龙王庙去祷告，因为龙王是主管水上安全的。他向龙王陈明他如今身陷困难，他说明天早晨若到不了目的地，便须露宿野外了。他刚一祷告完毕，一阵强风吹来，船帆涨满，船向前行走极快，还不到吃早饭时间，船就到达了。后来，在他回程时，他写了一篇祭文，向龙王道谢。
在九月，他跨越有名的大庾岭，大庾岭在中国古代为赴广州的旅客必经之地。这道关隘是一条遥远危险的旅途，通过之后，便到了另一个境界，多少旅客往往是有去无回的。一条铺石头的路，在关隘两侧各有三四百码长，道旁有浓荫茂密的树，为旅客遮蔽太阳，供旅客歇息。行人到此，不由喟然兴叹，多在岩石上题诗寄慨。立在此处山峰上，头上云天，不过咫尺，苏东坡觉得自己犹如梦游，不复知自己肉体之躯在何处所了。从那样高处，他能看到人的渺小，行为的卑鄙，山上的清风把他胸中的尘思俗念，一扫而空。横过了关隘之后，他游历今日的南雄和南华寺--中国佛教禅宗的圣地。
在南雄和广州之间，他碰见道士老友吴复古。从此之后，在苏东坡流放期间，他一直与吴复古交往很密切。吴复古是一怪人。在过去那些年，在苏东坡的生活里，他曾在不同的处所突然出现。苏东坡第一次遇见他，是在济南，后来又在京城碰见他。此人从事何种活动呢？难道他没有职业？他何以为生？他与苏东坡要好，难道是有所求取？特别是等到苏东坡在朝得势之时？可是他向苏东坡从无所求，也不曾求苏东坡为他转求他人。过去不知他流落何方，而现在又忽而相遇，不在别的地方，偏偏在此，苏东坡又遇到他。吴复古是真正的道士，身体精神，轻松自在，一心无忧无虑，这是道家极其重视的，由于身体强，欲望少，他们大多能过一种为人所艳羡的自由自在的生活。要获得此种自由自在的生活，必须摆脱名利，吃粗茶淡饭，穿衣住处不讲究，步行千里，睡在旷野，不视为苦事。吴复古对此世界一无所求。他时隐时现，等于随时提醒苏东坡，倘若他不为政治所纠缠，他就过那种飘荡不羁的日子。
哲宗绍圣元年（1094年）十月二日，是欧洲第一次十字军东征的前两年，苏东坡到了惠州。好多事对他都显得新奇，可是又似乎熟悉。广东是亚热带，他看见橘林、甘蔗、荔枝树、香蕉园，还有槟榔树，绝不是个不适于生活的地方。有两条河自北流入，在城东汇合。前半个月，苏东坡在地方太守礼遇之下，住在政府官舍中。他立在两河汇合处的合江楼上，看见宽广的溪流在下面城边流过，对岸归善县的县城，就建筑在陡斜的山坡上。沿河是岩石和巨大的石卵，闲散的人正在那儿钓鱼。城的正北就是罗浮山和象头山，他知道以后他会去揽奇探胜的。
这里就是中国的南方，和他以前所想象的不一样，处处是浓绿的草木和亚热带的水果，的确是“岭南万户皆春色”。当地百姓看见苏东坡这位诗人，都觉得惊讶，不知他为何故被贬谪到他们这个地区来。苏东坡想到苏武，苏武被匈奴单于流放到漠北，从没料到在暮年还能回到中国；他又想到管宁流放到辽东，竟愿居住在那里终身不去。惠州很美，当地居民也对他很好。等后来他迁到对岸的嘉祐寺之后，他说不久“鸡犬识东坡”了。
在对岸松风阁里他写了一封短笺，把他对人生的态度表现得最好。搬到嘉祐寺之后，他常在山顶的松风阁里流连不去。一天，他正回家时，看见松风阁高高超出树顶之上，他的两条老年的腿感觉到疲倦。他忽然想：“此间有什么歇不得处？由是心若挂钩之鱼，忽得解脱。人若悟此，当恁么时也不妨熟歇。”
如今他又恢复到“依然故我”了。在广州之时，他买了些上好的檀香，现在喜欢闭门静坐，细闻此香味，思想往日过错。有时窗外凉风徐来，他下午酣睡，等屋顶一个乌鸦把他唤醒，忽然觉得自己已然无官一身轻。看见宽阔的河面反光，映入书斋，他心想，这与明月在天一样好。他不懂为什么有人以为天空有云、有月光会更美。他以为天空无云，正如一尘不染的良心。他给朋友写信说：来此半年，已服水土，一心无挂虑，因为已经乐天知命。黄州老朋友陈慥写信说想来探望，由汉口到惠州有一千里之遥。苏东坡给他回信说：
到惠将半年，风土食物不恶，吏民相待甚厚。孔子云“虽蛮貊之邦行矣”；岂欺我哉！自失官后，便觉三山跬步，云汉咫尺，此未易遽言也。所以云云者，欲季常安心家居，勿轻出入。老劣不烦过虑……亦莫遣人来，彼此须髯如戟，莫作儿女态也……长子迈作吏，颇有父风。二子作诗骚殊胜，咄咄皆有跨灶之兴。想季常读此，捧腹绝倒也。今日游白水佛迹，山上布水三十仞。雷辊电散，末易名状，大略如项羽破章邯时也。自山中归来，灯下裁答，信笔而书，纸尽乃已。