苏辙贬谪雷州，朝廷规定不许住官舍。老是住天宁寺也不是办法，苏轼说：“当年寇准老丞相，也是天宁寺租过西馆住。打扰他官府作甚，不如就近租一座屋子住。”新居赁就，两兄弟把盏对饮，苏辙口占一诗：
山连上帝珠明府，心是南宗无尽灯。
过去歌危空比梦，年来瘴毒冷如冰。
图书一笑宁劳容，音信频来尚有僧。
梨枣功夫三岁辨，不缘忧患亦何曾。
这诗传到章惇处，他看了又道听途说，以为苏辙强夺了民居以连上帝之府。于是颁令雷州府追究，治苏辙以重罪。后来查清楚，雷州府将实情报告，章惇还不相信。于是再派人来，向租屋户调查。租屋户告诉他：“上次苏公来，因为章丞相查得紧，几乎弄得我家破人亡。这回我可不租了，你就是价钱再大，我也不租！”
俩兄弟居雷州，下徐闻，涉足青山绿水，步历于大街小巷，凡他所到之处都为后人留下难忘印象。他们所租民宅蜗居，所在之古巷，雷州人追为“苏楼巷”。雷州西湖的湖心亭名为“苏公亭”。
雷州太守张逢对苏门学士敬仰已久，听说苏氏兄弟南来，十分热情地接待。并送来酒菜到他们的寓所，以致慰问。
这事被暗中监视的人密告章惇，说是“馆留党人”。张逢也因此获罪，被牵连在内，遭到弹劾免职。
兄弟两人在雷州住了月余，游遍海康名胜。在登上城东门楼，兄弟唱和，写了《东楼》：
明从海上涌金盆，直入东楼照病身。
久已无心问南北，时能闭目待仪麟。
飓风不作三农喜，舶客初来百物新。
归去有时无定在，漫随俚俗共欣欣。
苏辙历经人生风浪，宦途风险，面对雷州有名的风雷暴雨，他感到畅快，一吐胸中块垒。为此他写下《飓作海浑》诗：
飓作海浑，天水溟濛。云屯九河，雪立三江。
我不出门，寤寐北窗，念彼海康，神驰往从。
对政治上的风浪冷眼相看，兄弟之间息息相通。苏氏兄弟在海康活动不多，但开启了当地文风，其高风亮节为当地人民敬仰。在海康的十贤祠中，苏氏兄弟位列其中。
异乡的乡亲父老对他们兄弟俩甚为关怀，节日不忘请他共度佳节，“莫起天涯万里心”让他把这里当作家乡。此时，兄弟俩遇到一位不速之客，一位白发苍苍的老者。一见到苏氏兄弟就拉着他俩的手，热泪盈眶，一时竟说不出话来。原来，他就是家乡四川眉山有七旬老人巢谷，闻苏氏兄弟被贬岭南，一直放心不下，竟然不远万里，从眉山徒步数千里风尘仆仆赶来探望苏氏兄弟。苏氏兄弟牵着巢谷的手，悲喜交集，感动得竟一时说不出话来。三人涕泪交加，抱作一团，久久分不开。
他俩兄弟在朝为官时，这位古稀老人没一点攀附之意，而他俩遭不幸时，远贬岭南，士大夫皆绝来往，亲友也无音讯。唯一个素昧平生，只是仰慕他俩才华的巢谷老人却来到他们身边，问候他俩。
好景不长，兄弟俩相伴仅仅一个月。这一个月，他们虽然乐乎山水之间，但心头笼罩着那片阴影，怎么也挥之不去，苏东坡赴儋州的期限到了，苏辙后又被贬至循州（今广东龙川）。
兄弟相送，直送到徐闻，苏轼登舟渡海才分手。苏轼到儋州后，两兄弟保持诗词唱和，自得乐趣。苏辙在《次韵子瞻夜坐》诗写道：
南海炎凉身已惯，北方毁誉耳谁闻。
遥知挂壁瓢无酒，归舶还将一酌分。
苏东坡其时写下“自雷适廉，宿于兴廉村净行院”一诗：
荒凉海南北，佛舍如鸡栖。
忽行榕林中，跨空飞拱檩。
当门洌碧井，洗我两脚泥。
高堂磨新砖，洞户分角圭。
倒床便甘寝，鼻息如虹霓。
童仆不肯去，我为半日稽。
晨登一叶舟，醉兀十里溪。
醒来知何处，归路老更迷。
后人遂在“清东轩”建亭以志，曰“东坡亭”。亭为歇山顶二进亭阁式砖木结构建筑，现在合浦师范学校内，相传为苏东坡自昌化至廉州的居住遗址。
这时，苏轼要离开雷州，渡海到崖州去。苏辙送兄至徐闻递角场。两兄弟宿于递角场，同游海上，苏轼即吟一首诗：
我少即多难，地迥一生中。
百年不易满，寸寸弯强弓。
老矣复何言，荣辱今两空。
泥丸尚一路，所向余皆穷。
似闻崆峒西，仇池迎此翁。
胡为适南海，复驾垂天雄。
下视九万里，浩浩皆积风。
回望古合州，属此琉璃钟。
离别何足道，我生岂有终。
渡海十年归，方镜照两童。
还乡亦何有，暂假壶公龙。
峨眉向我笑，锦水为君容。
天人巧相胜，不独数子工。
指点昔游处，蒿莱生故宫。
张逢因为刚刚遭弹劾免职，只好派人相随也送到徐闻。徐闻县令冯太均闻讯也赶到海上相送。在两伏波庙，两兄弟向伏波将军祈求渡海平安，保佑后福。从伏波庙出来，苏辙从袖中取出一叶诗笺。兄弟相会之乐苦短，即挥手相别。苏辙苦笑，“只是上月偕哥哥登海康城东门楼时，小弟拙作。哥哥要渡海南下，昨夜里抄了。”苏东坡展开一看，正是子由的《东楼》诗。
渡船要开了，巢谷表示要随东坡南去。苏轼考虑到此去惊涛骇浪，风险重重。再说海南环境恶劣，七十高龄的巢谷怎么吃得消。两兄弟苦苦劝阻，苏辙表示让他留在雷州，可时时打听着苏轼的消息，老人家这才作罢。苏东坡百感交集，写下《别子由渡海》诗一首安慰弟弟：
离别何足首，我生岂有终，
渡海十年归，方镜照两瞳。
还乡亦何有，暂假壶公龙，
峨眉向我笑，锦衣为君荣。
天人巧相胜，不独数子工，
指点旧游处，蒿莱生帮宫。
5、海南万古真吾乡
绍圣四年（1097年）苏轼到达海南。在澄迈县通潮驿上岸，宿金粟庵。当地居民饮用城河水很是混浊，苏轼甚是担忧，观察附近，让村民在荒草野坡凿二泉。果然咫尺间挖出两股味色不同泉水，一清一浊。四年后获赦北归，再经此泉，郡守请他品泉，苏轼欣然题名“洞酌”，写下四言诗《洞酌亭.并序》寓意万里投荒，择善而行。有“自立组海，浩然无私”以励效清泉。
年逾花甲的苏轼，贫病交加。颠簸两月，终于辗转到了儋州。其环境艰苦出乎想像，“食无肉，病无药，居无室，出无友，冬无炭，夏无寒泉”且飓风凛烈，雨雾迷漫，毒蛇出没，瘟疫蔓延（《与程天侔书》）。可苏轼并不至于荒死，且逐渐适应，安居下来。他有诗句写道“海南万古真吾乡”、“我本儋耳人”、“余生欲老海南村”。以表达对这片蛮荒之地，以及与当地平民的感情。他为他们做了很多有益的事，使得他的胸怀更豁达、乐观。当地官员为他安排的“官屋”，破漏不堪。苏轼唯买地建屋，于是邻里纷来帮忙，助以工具。在桄榔林中搭起茅屋三间，苏轼得以安身。他感激众乡人的深情厚意，将茅屋题为“桄榔庵”并写了《桄榔庵记》以志。此地籍东坡之名，数间平屋享尽千年“天南名胜”美誉。
苏轼生活恬淡自持，辟园种植，自足饱饴。看到乡民“土人顿顿食薯芋，荐以薰鼠烧蝙蝠”，自责过去“十年京国厌肥羜，日日蒸花压红玉”，思想感情上更接近民众。他还学习黎语，着黎装，以真挚感情对待黎族人民。他还帮助黎民提高农耕技术，教他们种植棉花，采药治病。他在如此恶劣的境遇中，积极生活，并不颓废，致力人文。当地有读书人黎子云、符林、王霄，潮州的吴子野、琼山的姜唐佐等士人慕名相从，聚集在他周围论文讲学。对文化落后的儋州真是石破天惊的大事。为方便学术交流，士人们集资建屋。苏轼取《汉书．杨雄传》“载酒问字”典故，命名此屋为“载酒堂”。
他更关心教育，让黎族的孩子都能读书。当时正值王安石变法，规定开科取士以经义为主。海南偏远，未能适应，读书人不知读什么书好。苏轼虽不赞成新法，但还是顺应时势，亲手烧烟制墨，筹措纸张，自编经义，深入浅出地授课。虽则他只收了十几个学生，但对蛮荒之地的海南，影响甚大。使儋州成为海南的文化教育中心。致使儋州话杂有浓重的四川口音，有别于海南的方言。人称为“东坡话”。苏轼热心研究海南的物产、民俗、风情、瘴疾……写了大量诗文，开拓了当地的文化教育的文化视野，启迪民智，移风易俗。这时期300多篇诗文被辑录为《居儋集》或名《海外集》。
在海南期间，苏轼还完成和陶渊明诗100多首，重新整理了《易传》、《论语说》、《书传》、《志林》等著作。苏轼还有一些小品文也是独具风韵的妙品，言简意深，内涵丰厚。如《在儋耳书》写自己初到海南岛时环顾四面大海的心境：“覆盆水于地，芥浮于水，蚁附于芥，茫然不知所济。少焉水涸，蚁即径去，见其类，出涕曰：‘几不复与子相见，岂知俯仰之间，有方轨八达之路乎？’念此可以一笑。”这篇似庄似谐的短文，在表面的诙谐中有深沉的悲哀，在深沉的悲哀中又有开朗的情怀，使人读后感慨万千。
当地名士黎子云、符林、王霄、姜唐佐诸人在他的教导下成了饱学鸿儒，成为当地一代师表。他北返时，曾赠自用的端砚给姜唐佐，并有诗句“泛海何曾断地脉，白袍端合破天荒。”以勉励，寄予厚望。其后三年，这些士人举明经文学，于大观元年（1109年）海南历史上终于出了第一个进士儋州人符确，从此海南人才辈出。并且也由于苏轼的影响，儋州诗风大盛，联诗作赋成为当喜庆节日的民间盛事。儋州山歌流传久远，且修辞极有文采，故称“儋州歌不让唐诗好”，儋州人能诗善文，乃东坡教泽遗风。儋州建有东坡书院、东坡路、东坡桥、东坡公园、东坡坐石以及丰富传说至今留芳。有苏轼访黎子云故事流传，被绘作《东坡笠屐图》广为岭南民众收藏。
元符三年（1100年）正月，哲宗薨，徽宗即位，大赦天下。五月，苏轼获赦。六月，苏东坡离开儋耳，夜海北归。这天夜里，苏东坡写下了《六月二十日夜渡海》诗：
参横斗转欲三更，苦雨终风也解晴。
云散月明谁点缀，天容海色本澄清。
空余鲁叟乘桴意，粗识轩辕奏乐声。
九死南荒吾不恨，兹游奇绝冠平生。
归至徐闻，而苏辙又早已贬至循州（广东龙川）不在徐闻了。于是只得带着儿子苏过，在徐闻作短暂的羁客。想起当时弟弟所写的诗，时过境迁，独自守夜，点着自儋州所携的松明，以此为题，写《夜烧松明火》诗追忆：
岁暮风雨交，客舍凄薄寒。
夜烧松明火，照室红龙鸾。
快焰初煌煌，碧烟稍团团。
幽人忽富贵，繐帐芬椒兰。
珠煤缀屋梢，香脂流铜盘。
坐看十八公，俯仰灰烬残。
齐奴朝爨蜡，莱公夜长叹。
海康无此物，烛尽更未阑。
而此时苏辙被贬到循州，两徙谪所，自食其力，穷困潦倒，只得将视同生命的书籍也付托他人。在循州，更是住所无着，靠不多积攒购置破漏茅屋十数间，栽蔬种瓜，自给自足。他不甘休闲，追思所见所闻及其经历，著成《龙川略志》10卷、《龙川别志》2卷。前者追忆自己平生参与的各个政治活动；后者记录前贤时贤轶事，至今仍有很高的史料价值。他在龙川县城嶅湖白云桥西，倡筑堤坝，蓄水灌田，整治嶅湖，兴修水利，发展农业生产。为当地人民所作贡献与其兄相同，留芳于世。
苏东坡正待动身那天，忽然大雨，村路尽被河水所淹。天是只得改作乘舟，但舟楫又偏遇大风。苏轼又只好舍舟陆行，走到遂溪河头兴廉村（今乐民城村）避雨，宿于佛舍净院。
有一位落第秀才，村塾教师陈梦英也是十分仰慕苏门三士，听说苏东坡避雨在村中，即盛邀苏轼留在村中。可真是“落雨天，留客天”这一留，把苏东坡留住了一个多月。陈梦英与苏东坡形影不离，或漫步海边沙滩，笑看潮生潮灭，或一叶扁舟放任自流，静观风云变幻，或荷锄耕作，得农事之乐趣……他们谈论起文章诗词来，谈得津津有味，真是相见恨晚。他对陈梦英说：“斯地景胜，当有文明之祥。”
在暂留期间，陈梦英陪苏东坡到徐城镇东南三公里流梅溪（今大水桥溪）流一游，在那平堰下，曲径通幽，透过层林，苏东坡仰视高空的一片片飘游的云彩；看着那激越东流的溪水与东边溪汇合。二水中有一个圆石，露出水面，感慨万端。于是赋诗：
岂日寻幽赏，微名远绊身；
归心流水急，宦兴白云深。
以此抒发他面对那官宦之争，使他流放南荒，幸获赦而迫切北归的心情。后人仰慕将字刻石，以资纪念。
风雨过后，日已暾暾，苏东坡要告辞了。陈梦英依依不舍，握着他的手，叹道：“今日能一睹先生，真是三生有幸，不知可有重见之日否？”说罢，有点哽咽。东坡也不禁长叹，他想不到在此“貊蛮之邦”竟也有礼仪学问之士，也有他苏东坡的知音。于是他把近日作的一首《自雷适廉，宿于兴廉村净行院》诗赠与陈梦英：
荒凉海南北，佛舍如鸡栖。
忽此榕林中，跨空飞栱枅。
当门冽碧井，洗我两足泥。
高堂磨新砖，洞户分角圭。
倒床便甘寝，鼻息如虹霓。
僮仆不肯去，我为半日稽。
晨登一叶舟，醉兀十里溪。
醒来知何处，归路老更迷。
他又取出一块汉瓦砚，要送给陈梦英。“区区之物，无以为赠，但送先生能留个纪念。”陈梦英如获至宝，捧玩欣赏，爱不释手。他翻过一看，刻的是苏轼的题字：
其色湿润，其制古朴。
何以致之，石渠秘阁。
解封即墨，兰台列爵。
宜永宝之，书香是托。
陈梦英一字一字唸罢，连声说：“当然，宜永宝之，宜永宝之”。苏东坡走后一个月，兴廉村果然长出灵芝来。村民们惊喜万分，家家户户都在门楣上大书“文明之祥”四个大字，以示吉庆。后来，有很多读书人到这里办学，建书院，题匾都题“文明书院”。关于这段故事，有苏轼写的《记过合浦》：
余自海适合浦，连日大雨，桥梁大坏，水无津涯。自兴廉村净行院乘小舟至官寨，闻自此两皆涨水，无复桥船，或劝乘蛋并海即白石。是日六月晦，无月，碇宿大海中。天水相接，星河满天，起坐四顾叹息：“复危于此乎，”稚子过在旁酣睡，呼不应。所撰《书》、《易》、《论语》，皆以自随，而世未有别本。抚之而叹曰：“天未欲使从是也，君辈必济！”已而果然。七月四日合浦记，时元符三年也。
临北归前，苏轼重到伏波庙，庙里冷清了不少，他认为自己不死于南荒，完全是靠伏波将军保佑所致。他说“四州之人以徐闻为咽喉，南北之济以伏波为指南，事神者其敢不恭”。他跪在将军神像前，默默地祷祝：“苏轼获罪，被贬谪儋耳三年，现在得获大赦，可以渡海北返，一路还算顺风，十分感激将军神灵的暗中保佑”。并把在海南时作好的《伏波庙记》一文赠给庙里，文曰：
汉有两伏波，皆有功行国土岭南之民。前伏波邳离路侯也，后伏波新息马侯也。南越自三代不曾有，秦虽远通置吏，旋复为夷。邳离虽伐灭其国，开九郡，然至东汉，贰女子则、贰反，岭南振动六十余城。汉世祖初平天下民劳厌兵，方闭玉关谢西域，南荒何足以辱王师？非新息苦战，则九郡左衽至今矣。由此论之，两伏波庙食于岭南均矣。古今所传，莫能定于一。自徐闻渡海适珠崖，南望连山，若有若无，杳如一发耳。舣舟将济，股栗丧魄。海上有伏波祠，元丰中诏封忠显王，凡济者必卜焉。曰：某日可济乎？必吉，然后敢济。使人信之如并量权衡，必不吾欺者。呜呼，非盛德熟能如此？自汉以来，珠崖、儋耳，或置或否。扬雄有言：“珠崖之弃，捐之力也。否则介鳞易我冠裳，”此言于当时可也。五代，中原避乱之人多家于此。今衣冠礼乐，班班然矣。其可复言弃乎？四州之地，以徐闻为咽喉。南北之济者，以伏波为指南，事神其敢不恭。轼以罪谪儋耳三年，今获还海北，往返皆顺风。无以答神贶，乃碑而铭之曰：
至险不测海与风，至幽不仁此鱼龙，至信可恃汉两公。寄命一叶万仞中，自北而南洗汝胸，抚循民夷必精通。自南而北端汝躬，屈伸穷达常正忠。生为人英殁愈雄，神虽无言我意同。