黄庭坚在贬所，朝廷不断给予复官，由地方初等职官不断改官，直至改为吏部员外郎，并命立即赴京都任职。这时政治局势仍不稳定，元祐旧臣们皆预感到可能再度发生政治变化，故黄庭坚在荆南以病不赴任，观望局势，请求任太平州职。此年七月变法派的蒋之奇知枢密院事，陆佃为尚书右丞，蔡京于十一月为翰林学士承旨，已显露出重新恢复绍圣时期政治的迹象。黄庭坚这时已有不祥之感。他与友人书云：
去年失秦少游，又失东坡苏公，今年又失陈履常。余意文星已宵坠矣。然幸此之君子者，皆有佳儿未死，犹得其崭然见头角。尔见东坡祭文多佳语，钦叹，钦叹！至太平且遣人往祭之。
崇宁元年六月黄庭坚接到朝廷命令赴吏部等待差遣。七月，蔡京执政，为尚书右仆射兼中书侍郎，开始全面反对元祐之政。黄庭坚于八月二十五日改命为管勾洪州玉隆观，以之投闲置散。九月诏立元祐党籍，列文彦博、司马光、苏轼、秦观、黄庭坚等一百二十人为奸党，御书刻石于京都端礼门，这就是“元祐党籍碑”。凡被列入“奸党”者开始遭到严重的政治迫害。崇宁二年三月，朝廷宣告对黄庭坚的处分：“十二日朝奉郎管勾洪州玉隆观黄庭坚特除名勒伫，送宜州羁管。”四月诏毁刊行《唐鉴》并三苏、秦观、黄庭坚等文集，加速加重对元祐党人的迫害。崇宁三年五月十八日，黄庭坚至宜州谪所。宜州，唐代乾封中改粤州置，治所龙水（广西宜山），辖境相当今广西宜山县一带，距京都四千余里。黄庭坚在宜州《题自书卷后》记述谪居生活情形：
崇宁二年十一月，余谪处宜州半岁矣。官司谓余不当居关城中，乃以是岁甲戌，抱被入宿于城南。予所僦舍喧寂斋，虽上雨旁风，无有盖障，市声喧愦，人以为不堪其忧，余以为家本农耕，使不从进士，则田中庐舍如是，又何不堪其忧耶？既设卧榻，焚香而坐，与西邻屠牛之机相直。为资深书此卷，实用三钱，买鸡毛笔书。
崇宁四年（1105），黄庭坚作《书自作草后赠曾公卷》云：
崇宁四年三月庚戌夜，余尝重醖一杯，遂至沉醉。视架上有凡子之书纸，因以作草。方眼花耳熟，既作草十数行，于是耳目聪明。细阅此书，端不可与凡子，因以遗南丰曾公卷。公卷胸中殊不凡，又喜学书故也。山谷老人年六十一，书成颇自喜，似杨少师书耳。
九月，诗人黄庭坚卒于宜州谪所。
自北宋绍圣元年（1094）至崇宁四年（1105）的十二年间，黄庭坚共作诗422首，艺术风格发生变化，达到成熟的新的境界。黄庭坚自青年时代入仕以来仕途较为平坦。熙宁与元丰时期，当新法的推行在朝廷内部引发政治斗争时，他在州县任地方初级职官，未卷入新旧两派斗争。虽然他的亲戚和苏轼等文人因反对新法而受到打击或迫害，但他实际上并不热衷于政治，故未受到牵连。元祐时期黄庭坚成为苏轼文人集团的重要人物，在朝廷居清要之职，旧派中虽有蜀党、洛党和朔党之间的互相倾轧，亦因他未直接卷入斗争而得以自我保全。黄庭坚具有纯文人和艺术家的气质，缺乏积极的入世精神，更无建功立业的宏伟政治理想。苏门四学士仅是文人而已，他们与苏轼兄弟的人生态度与政治态度是不同的。然而自绍圣时期新法派再变得势之时，政治斗争愈演愈烈，规模亦愈来愈大，以致苏门文人皆受到牵连而同样遭到打击与迫害。从此黄庭坚的仕途发生重大转折，忽然成为朝廷的罪人，贬谪于边鄙之地。在迁谪的过程中，黄庭坚才真正接触到社会底层的现实生活，同时阅历了雄伟奇险的江山，感受了人世的沧桑与人情的冷暖。这些苦难的经历促使了他的艺术风格的变化，其诗歌的表现愈为精进，而思想则更为含蓄深沉了。
黄庭坚本来没有强烈的仕宦欲望，因而处于贬谪之地时，其心情是较为平静的。他在蜀中作的《次韵黄斌老晚游池亭》其二较能反映谪居的心情，诗云：
岑寂东园可散愁，胶胶扰扰梦中游。
万竿苦竹旌旗卷，一部鸣蛙鼓吹秋。
雨后月前天欲冷，身闲心远地常幽。
杜门谢客恐生谤，且作人间鹏 游。
他在边鄙的山水间求得内心的宁静与悠闲，但仍然有政治的警觉，力求远避。结句用《庄子》语，在黄庭坚的理解中，鹍鹏之大，鸠 之小，皆为自己所累，不能作逍遥之游，只有能体道者才可能逍遥。他以为自己是真能认识自然之道者。在将离蜀时，黄庭坚作的《次韵杨明叔见饯十首》其六云：
山围少天日，狐鬼能作妖。
睒闪载一车，猎人用呜枭。
小智窘流俗，蹇浅不能超。
安得万里沙，晴天看射雕。
此诗之意极隐晦。众多的鬼怪，若用妖鸟——枭去猎取，则似小智浅薄，困于流俗之见；若在广阔的沙漠里善射大雕，这才是大智者。当时政治局势开始好转，此诗应是有政治寄意的。
自从入蜀，黄庭坚对杜诗的认识加深，以为杜诗乃中国诗歌的“大雅”之音，因而作了《大雅堂记》，高度评价了杜诗。这时黄庭坚诗亦努力追求沉郁顿挫、波澜老成的风格。《寄题荣州祖元大师此君轩》乃吟竹之作。《世说新语·任诞》：“王子猷尝暂寄人空宅住，便令种竹。问曰：‘暂住，何烦尔？’王啸咏良久，直指竹曰：‘何可一日无此君？’”后因以“此君”为竹之代称。黄庭坚诗云：
王师学琴二十年，响如清夜落涧泉。
满堂洗净筝琶耳，请师停手恐断弦。
神人传书道人命，死生贵贱如看镜。
唤知直语触憎嫌，深藏幽寺听钟磬。
有酒如渑客满门，不可一日无此君。
当时手栽数寸碧，声挟风雨今连云。
此君倾盖如故旧，骨相奇怪清且秀。
程婴杵臼立孤难，伯夷叔齐采薇瘦。
霜钟堂上弄秋月，微风入弦此君说。
公家彦周笔如椽，此君语意当能传。
杜甫在《古柏行》里对孔明庙前古柏的描绘，表现其高大遒劲、挺拔壮美的形象，而寄意对诸葛亮的景仰之情。黄庭坚咏此君轩之竹，描绘了其风雨连云、奇怪清秀、劲节孤瘦之姿。他以古代义士程婴、公孙杵臼，高人伯夷、叔齐喻竹之劲节孤瘦，这是山谷的独创，意象新奇，含义深刻，借以表达了诗人孤高自傲的品格。黄庭坚此期作的七律已极为精整，有波澜老成之致，如《次韵奉答文少激纪赠》其二：
文章藻鉴随时去，人物权衡逐势低。
扬子墨池春草遍，武侯祠庙晓莺啼。
书帷寂寞知音少，幕府留连要路迷。
顾我何人敢推挽，看君桃李合成蹊。
此诗之关键词是第七句的“推挽”，比喻推荐与扶植。韩愈《柳子厚墓志铭》：“（柳宗元）既退，又无相知有气力得位者推挽，故卒死于穷裔。”黄庭坚用此意表示自己处于险恶环境，没有人敢于对他给予推挽，可能也会死于穷乡僻壤。此前之三联含义很广，以突出谪居落魄、孤寂的政治处境，这使诗意含蓄幽深。《题胡逸老致虚庵》思想尤为丰富含蓄：
藏书万卷可教子，遗金满籝常作灾。
能与贫人共年谷，必有明月生蚌胎。
山随宴坐画图出，水作夜窗风雨来。
观水观山皆得妙，更将何物污灵台。
诗的前两联具有箴言性质，以示不留财产与儿孙，将粮食供饥贫者共用，这样必有善果。“灵台”指人的心灵。如果能看轻在人世的物质利益，则观山观水皆能得到妙趣，这样就不会有任何东西可以污染心灵，于是心灵可以保持纯洁澄明。黄庭坚中年以后接受了佛家信仰，此诗甚富禅理意趣。这两首七律都有杜甫晚年《秋兴》的一些特点，意境开阔而深沉，艺术表现达到精练的程度。
本期的作品中七绝甚多，常以组诗的方式出现，它约占本期作品的半数。如《病起荆江亭即事十首》，它们谈论禅理，怀念亡友，评论时局，追忆往事，往往以白描的手法叙述事实，其情绪与寓意深隐于中。此组诗的写作背景，如黄庭坚《寄苏子由书》所言：“流落七年，蒙恩东归，至荆山病几死。失一弟一妹，及亡弟二子。早衰气索，非复昔时人也。性本疏懒，鞭策不前。”然而诗中所表现的并非衰疲的情绪，例如其一：
翰墨场中老伏波，菩提坊里病维摩。
近人积水无鸥鹭，时有归牛浮鼻过。
东汉伏波将军马援，年六十二岁犹据马鞍顾盼，以示可以为国效力。维摩诘是与释迦同时的禅师，曾在家称病。黄庭坚说自己似翰墨场中的伏波老将军，同时是以病身出现的圣者。他像归牛一样尚浮鼻而渡到彼岸。此诗体现了一种坚韧不屈的精神。继而在组诗的其二、三、四里表述了时局的变化，产生了新的希望：“十分整顿乾坤了，复辟归来道更尊”，“不须要出我门下，实用人材即至公”。这组诗里对亡友的怀念，虽寥寥数语，却情感激烈而沉痛，如怀念苏轼云：
文章韩杜无遗恨，草诏陆贽倾群公。
玉堂端要直学士，须得儋州秃鬓翁。
黄庭坚以苏轼的文章可比唐代古文大家韩愈和大诗人杜甫，以苏轼草拟的制诰奏议可比唐代正直的陆贽，这是对苏轼最高和最恰当的评价。他认为朝廷的翰院需要像苏轼这样的学士，但故意不说明曾谪于海南儋州的东坡老人已去世了。苏门文人中陈师道和秦观在政治形势开始好转时也突然去世了，黄庭坚特别感伤：
闭门觅句陈无己，对客挥毫秦少游。
正字不知温饱未，西风吹泪古藤州。
陈师道是宋代著名的苦吟诗人，一生最为贫穷。建中靖国元年（1101），他以秘书省正字入史馆，因得寒疾而去世。秦观是风流潇洒的才子，但经不住政治打击，于元符三年（1100）八月于放还途中醉卧广西藤州花光亭而死。黄庭坚于诗中仅简略述及二人之事，但一则称赞他们的诗才，一则谈到他们之死，字里行间隐含了深深的悼念之情。在《寄贺方回》诗里黄庭坚再次想念秦观：
少游醉卧古藤下，谁与愁眉唱一杯。
解作江南断肠句，只令唯有贺方回。
秦观和贺铸不仅是诗人，更以词知名当世。秦观作于藤州的绝笔是《好事近》词，结句为“醉卧古藤阴下，了不知南北”。贺铸最负盛名的《青玉案》词中有“碧云冉冉蘅皋暮，彩笔新题断肠句”。黄庭坚以为秦观死了，现在的词人只有贺铸了。这首小诗表现的人世沧桑之感非常强烈。其《雨中登岳阳楼望君山二首》以轻快的笔调描绘了江南秀丽的湖光山色：
投荒万死鬓毛班，生出瞿塘滟滪关。
未到江南先一笑，岳阳楼上对君山。
满川风雨独凭栏，绾结湘娥十二鬟。
可惜不当湖水面，银山堆里看青山。
唐代诗人孟浩然《临洞庭上张丞相》有“气蒸云梦泽，波撼岳阳城”的名句，杜甫《登岳阳楼》更有“吴楚东南坼，乾坤日夜浮”的名句。黄庭坚在岳阳楼面临浩渺的洞庭湖时，不蹈袭唐人思路，从楼上望君山着笔，写出新意与特殊的感受。这时他正等待时局的变化，对前途犹抱有希望，颇庆幸自己尚能从贬谪之地生还，故见到洞庭美景时心旷神怡，欣喜无比，淡淡地表现了对自然景物的喜爱，于写景中赋予浓重的主观色彩，意象清新优美，完全去掉了迁谪的愁绪。黄庭坚在荆州时曾有小诗《次韵中玉水仙花二首》，其二曰：
淤泥解作白莲藕，粪壤能开黄玉花。
可惜国香天不管，随缘流落小民家。
这首小诗流传很广，因其中寄寓了一段情事。“国香”，指兰花，《左传》宣公三年：“以兰有国香，人服媚之如是。”后世亦借以指极香之花，黄庭坚则用以指水仙，而其真实寓意则是比喻一位平民女子。江西派诗人高荷说：“国香，荆渚田民侍儿名也。黄太史自南溪召为吏部副郎，留荆州，乞守当涂待报，所居即此女子之邻也。太史偶见之，以谓悠闲姝美，目所未睹。后其家以嫁下俚贫民，因赋诗以寓意，俾予和之。后数年，太史卒于岭表，当时宾客云散。此女既生二子矣，会荆南岁荒，其夫鬻之田氏家。田氏邀予置酒，出之，掩抑困悴，无复故态。坐间话当时事，相与感叹。予请田氏名曰‘国香’，以成太史之意。”高荷因而作了七古长篇《国香》以咏此事，成为宋诗佳话，而黄庭坚这首小诗遂广为流传。
在黄庭坚人生道路将终的数年间，他念念不忘苏轼。他于崇宁元年（1102）在浔阳作《次苏子瞻和李太白浔阳紫极宫感秋诗韵追怀太白子瞻》，这时苏轼已于年前下世。诗云：
不见两谪仙，长怀倚修竹。
行绕紫极宫，明珠得盈掬。
平生人欲杀，耿介受命独。
往者如可作，抱被求同宿。
砥柱阅颓波，不疑更何卜。
但观草木秋，叶落根自复。
我病二十年，大斗久不覆。
因之酌苏李，蟹肥社醅熟。
黄庭坚在浔阳，自然联想到苏轼曾在此地作和李白之诗，他再次在和诗中盛赞这两位大诗人，而感叹他们不幸的命运，以表示景仰与怀念。黄庭坚继而又作《追和东坡题李亮功归来图》：
今人常恨古人少，今得见之谁谓无。
欲学渊明归作赋，先烦摩诘画成图。
小池已筑鱼千里，隙地仍栽芋百区。
朝市山林俱有累，不居京洛不江湖。
这时黄庭坚和苏轼之诗，已超越了唱和诗的俗套，而有自己独特的和真实的情感。此诗痛苦地表示，无论归隐于朝市还是山林，俱仍为世俗所累牵，因而既不居京洛，也不居江湖；这样在现实社会中是无地可隐居了。诗人只有在经历了长期的迁谪后才会有如此认识。元祐时期黄庭坚曾作《次韵子瞻武昌西山》。崇宁元年九月，当他来到武昌西山，这是苏轼贬谪黄州时曾到之处。他这时已有真情实感，遂作《武昌松风阁》诗：
依山筑阁见平川，夜阑箕斗插屋椽。
我来名之意适然。
老松魁梧数百年，斧斤所赦今参天。
风鸣娲皇五十弦，洗耳不须菩萨泉。
嘉二三子甚好贤，力贫买酒醉此筵。
夜雨鸣廊到晓悬，相看不归卧僧毡。
泉枯石燥复潺湲，山川光辉为我妍。
野僧早饥不能 ，晓见寒溪有炊烟。
东坡道人已沈泉，张侯何时到眼前。
钓台惊涛可昼眠，怡亭看篆蛟龙缠。
安得此身脱拘挛，舟载诸友长周旋。
此是柏梁体诗，随意浑洒，诗意流畅奔放。诗人在此已见不到苏轼，又得知苏门学士之一的张耒即将贬谪黄州，也会到武昌西山来。黄庭坚深感此身受到政治的牵绊而不能解脱，非常渴望获得自由。稍后他在第二次迁谪途中经湖南永州时作的《书磨崖碑后》七古长篇里借唐代史事，抒发了历史感慨，深寓对现实的政治批判，闪烁了最后的生命火焰。
黄庭坚晚年的作品若与以前比较，在思想方面深刻多了，在艺术上已精湛且具震憾人心的力量。宋人认为：“黄鲁直自黔南归，诗变前体，且云：须要唐律中作话计，乃可言诗。以少陵渊蓄云萃，变态百出，虽数十百韵，格律益严，盖操持诗家法度如此。”这时黄庭坚学杜诗已经不着意于浅表的形式，而在于求法度之严谨与思想之深邃，但却又使自己的艺术个性得到进一步的成熟。元人方回评山谷晚年诗说：“盖流离跋涉八年矣，未尝有一诗及于迁谪，真天人也。……学老杜诗，当学山谷诗，又当知山谷所以处迁谪而浩然于去来者，非但学诗而已。”黄庭坚晚年诗艺精进之作，超然绳墨之外，无法度可寻，实不易学。他因晚年诗艺的变化，才无愧于宋代杰出的诗人。