江回望见双华表，知是浔阳西郭门。犹去孤舟三四里，水烟沙雨欲黄昏。
——《望江州》
十月初旬到江州，有表达他的观感的律诗：
浔阳欲到思无穷，庾亮楼南湓口东。树木凋疏山雨后，人家低湿水烟中。菰蒋马行无力，芦荻编房卧有风。遥见朱轮来出郭，相迎劳动使君公。
——《初到江州》
白居易自己所说的“流落江湖，几沦蛮瘴”的生活从此开始了。
白居易的司马官邸，座落在浔阳城西门外，离湓浦口很近，北临大江，背靠湓水。庭院的北面，是一个绵亘不断，长约数千尺的土冈，冈上竹林青翠，树木茂盛。宅后有个园子，里面也种满了各种树木。这里环境幽静，景色宜人。他知道这次谪居。时间不会太短，便在公余之暇，按照自己的喜好重新修葺子整个官舍和庭院。把山樱桃树移栽到院子里，从宅后的园子里把十八株石榴花移到厅前，又在院内点缀了许多杜鹃花，“亦知官舍非吾宅，且山樱满院栽”，一方面是因为他有爱花的癖好，另一方面也是借此抒散自己的愁闷。
刚到江州，居易的思想很不稳定，江南的生活，他不习惯，但他努力使自己适应新的环境。慢慢地，他表现出一种超脱和平静，只有杨夫人了解他内心的苦闷和失望。
不久，他接到元稹的《叙事寄乐天书》，引起了他对诗歌理论的思考。在这年冬天的一个苦寒之夜，他给元稹写了一封长达三千二百六十七字的长信，从古代诗歌发展的历程，结合自己的创作实践，对诗歌与现实的关系，内容和形式的关系，进行了深入的探讨。他认为诗歌的基础是“事”，即客观社会现实，所以诗歌应当反映现实生活。第一，他主张“文章合为时而著，歌诗合为事而作”，即一方面要为现实而作，一方面要反映现实，并要具有时代精神。这一有名的论断是前无古人的，为后代诗人指出了明确的现实主义方向。第二，他还论述了内容和形式的关系，提出“根情、苗言、华声、实意”。如果把诗歌比作一枝花的话，根情、实意是内容，苗言、华声是形式，二者缺一不可。他畅论诗歌当继承国风、陈子昂、杜甫的传统，以揭露民生疾苦为主旨，而不以嘲风雪、弄花草为能事。他把这些在心中考虑了多年，却因故少暇而未说出来的看法一一诉诸笔端，这就是有名的文艺理论著作《与元九书》。
尽管心情平静了，但是在受谤遭贬的境遇里，他也未曾忘记前方的战局，他时刻牵挂着淮西前线的士卒，更念念不忘沦落在战区的百姓，唯愿早息战火，百姓得以安居乐业，为他们写下了一篇又一篇的诗章。当然，在这时，对他来说，最主要的是要忘记现实带给他的烦恼，全心全意地寄情于山水。
照唐代官制，州司马是刺史下面的辅佐之官，实际上无事可干。白居易自己说过：“若有人畜器贮用，急于兼济者居之，虽一日不乐。”他本是很有才干而又“急于兼济”的人，偏让他当这种闲官，当然郁郁不乐了。但在郁郁不乐的岁月中，却写了不少好诗，其中最有名的就是《琵琶行》。
按照这首诗中所写，这一故事的内容是这样的：
元和十一年的一个秋夜里，诗人在浔阳江头和友人话别。在舟中的离别酒筵上，面对着凄清的秋月，正在伤感，这时忽然听到邻舟中传来弹琵琶的声音，派人询问，原来弹琵琶的是一位独守空船的女子。诗人移船相近，邀她见面，请她再弹一曲。曲罢，谈话中间，知道她曾经是长安的著名歌妓，可是，等她年龄渐大，容减色衰，那些曾经朝暮追求她的公子王孙便都不再上门了，她不得不和一个商人结合在一起，从长安漂泊到江湖之上。现在商人又往浮梁买茶，便把她孤零零地抛弃在江州，她只得在这儿独自过着寂寞的生活，弹弹琵琶以寄托她的幽怨的情感。诗人听了她的自述，对她表示无限的同情，同时联想起自己过去在京城中的荣华生活，不幸遭遇到权贵们的打击，被驱逐出京，情景是和这个可怜的女人相类似的。因此兴起了“同是天涯沦落人，相逢何必曾相识”的叹息。他们的身世遭遇，同样体现着深刻的社会内容，诗人概述这个妇女的身世遭遇。
诗人对于这个歌妓的由欢乐而悲凉的身世遭遇不仅同情而已，更主要的是联系到自己的贬谪生活来做对照。看起来好象比拟不伦，为什么他自己要和歌妓相提并论呢？不知诗人正想借这个歌妓的形象深刻地揭发出封建社会摧残妇女的罪恶，同时将自己不幸的遭遇和失意的心情也倾泻出来，表示抗议。“我从去年辞帝居，谪居卧病浔阳城”一直到“座中泣下谁最多，江州司马青衫湿”，就是最好的自白。
在江州，白居易愈来愈感到命运的力量是那样强大，人没有力量扭转命运。
他无力摆脱困难的处境，最后只能归之于命运。他内心无休止的矛盾和斗争慢慢地停歇了下来，既然不能兼济天下，那就只好独善其身了，“安时顺命”的情绪控制了他，他不想再挣扎了。到江州后的第二年他在环境优美的庐山营建了草堂，打算终老斯地。他已经四十六岁了，前途茫茫，也许在佛门能得到精神上的解脱，向佛之心愈来愈强烈，他开始在东林寺学禅了。
到江州的第三年，他又添了一个女儿，取名阿罗，夫妻二人甚感安慰。但也是在这一年，他的长兄白幼文去世了，又使他非常伤感。
这一时期，他的诗歌创作却进入了低谷，由于被贬谪的苦闷及现实生活中的重重哀愁，他只写了一些描写个人身边生活琐事的诗篇，流露出悲怨凄苦的情绪。
好在朝廷的局势又发生了变化，吴元济伏法，淮西战乱平定，朝廷威望日重。
裴度、崔群等人入相，崔群和他是老朋友，形势对他是有利的。
不久，由于崔群等友人的援掖，元和十三年的十二月，居易终于等到了盼望几年的消息：奉诏除为忠州刺史。贬谪之官得到呈移，而且升了格，就任刺史，使他十分高兴。元和十四年二月，他就带着全家，包括他聪慧可爱的小女儿阿罗离开了江州。
五、忠州刺史
忠州离长安二千二百二十二里，接近南方边境，城在长江北岸，居民沿山势筑室而居。街道狭小，人烟稀少，时有虎豹出没，十分荒凉。
居易在长江逆水行舟往忠州进发时，又久久地思考着自己今后的道路，他感到必须改变自己的处世方法。他太累了，个人的力量也太微弱了，他没有力量再应付现实生活给予他的打击，没有力量再和那些邪恶势力进行斗争，也不想再成为这种斗争的牺牲品了。知足保和，随遇而安，应当是自己今后奉行的人生哲学，当然自己绝不会同流合污，随波逐流。这个决定，标志着他思想的重大改变，虽然与“兼济天下”是矛盾的，但却符合“独善其身”的愿望，可以说是他精神上的唯一出路。
虽然没有了雄心勃勃和嫉恶如仇，代之以心平气和和洁身自好，但对老百姓的一片爱心并没有泯灭，他要在自己力所能及的职权范围内，为百姓做一些好事。
要知道，再过两年，他就到“知天命”之年了。
在忠州，他决心“下安凋察，上副忧勤”。所谓“下安凋察”就是解除百姓的痛苦。每到深夜，他难以入眠的时候，听到百姓们齐唱竹枝词，倾诉他们的苦难，居易就内心不安，为不能替他们解除痛苦而内疚。但有限的个人力量，怎能改变那么多人的命运呢？他只能尽自己的力量改革地方吏治，劝农均租，省事宽刑。他还能做的就是：常常周济一些贫穷的无依无靠的老人，或流离失所的不幸的人们。
在忠州，他发现了城东的一片坡地，把它称之为东坡。利用公余之暇，大量栽种花木，又在东涧种了许多柳树。写了《步东坡》和《东涧种柳》各一首，以记其事。在离城十里的山中，有一条名叫玉溪的小溪，源头有潭，溪旁古木苍然。
其中有一种木兰树，花大如盆，北方无此佳木，居易十分喜爱，请人为之作画并亲为题诗三首记述木莲之大概。
忠州的荔枝，色香味俱佳，堪称一绝。居易在州治的西南隅，建造了一座荔枝楼，又称西楼，也请人画了荔枝图，并写了一篇序，就是有名的《荔枝图序》。
一年过去了，他在忠州度过了一个无雪的冬天。冬去春回，春暖花开，居易心情渐渐轻松，便在刺史府的庭院里，开了一个“与民同乐”的酒会。当地的蜀儿巴女，纷纷前来赴会。庭院里放着许多酒坛子，坛子又插着许多藤枝，人们可以随意吸酒。偌大的院子，人声嘈杂，鼓声隆隆，一片欢声笑语，有人引吭高歌，有人婆娑起舞，亦可与刺史闲话家常。居易的属吏、幕客也都杂坐百姓之中，官民同乐，居易特写诗以记其事。
元和十五年正月二十七日，宪宗暴卒于长安大明宫的中和殿。新君继位，是为穆宗。宪宗在位十五年，诛除群盗，睿智英断，尽管任用宦官，有时不辨视听，但仍不失为一个有作为的好皇帝。居易在宪宗朝虽不太得志，但他毕竟是宪宗提拔起来的，心中感念知遇之恩。现在宪宗暴卒，他很难过，新君如何，谁又能预料呢？他估计自己在忠州至少要呆三年。没想到，这一年的九月，他就接到除命，拜为尚书司门员外郎，自忠州召回。
居易感到喜出望外，历时六年的外官生活，终于可以结束了。虽然在忠州只呆了两年，要离开它，又感到依依不舍。城东开元寺，他新栽的柳树还没有垂条；在东城，他手植的桃李也将及成林。这一切都使他留恋，一切都使他挂牵。他写诗道：
二年滞留在江城，草树禽鱼尽有情。
何处殷勤重回首，东坡桃李种新成。
他想到他可能永远不会再到这里来了，他想到他曾生活过两年的地方虽然地处荒蛮，却也四面春色，特别是蜀巴儿女对他的深情眷恋，使他不忍心骤然弃之而去，每想及此，不禁黯然神伤。但对于除命归京还是由衷地高兴。在作好了一切准备后，他带着全家人登上官船，沿长江顺流而下，穿过白狗峡，路过黄牛峡，来到洞庭湖口，折转向北，直奔鄂州，入汉水，逆流而上，到了襄阳，弃舟登岸，走上商于大路。来到这里，他百感交集，六年前贬往江州时的情景都历历在目，而他自己已经历了人生的重大转折。
六、再到长安
他又回到帝都长安了，朝廷发生了重大的变化。宰相萧是进士集团的代表，倾向革新，另一宰相虽属旧官僚集团，但为人开朗正直，所以居易的友人都纷纷重新被启用入朝为官。元稹迁为祠部郎中、知制诰，钱徽、李宗闵、李绅、李德裕、李绛、崔群、韩愈、杨虞卿、杨汝士、张籍等都改官升迁。居易官阶较低，感到不好意思，一度又产生退隐的想法。可是不久，就被授为主客郎中，知制诰。
这是一个比较显赫的职务，可以参与朝廷大事，接近皇帝，实际上就是中书舍人的工作。
穆宗长庆元年（公元821年），白居易正五十岁，受诏与中书舍人王起，复试礼部侍郎钱徽下及第人郑朗等，这次重试进士，是当时政治上的一件大事。
白居易的许多友人和这个案件有关，而且因为这个案件，使得李宗闵、李德裕党争的壁垒更加分明。事情的原委是这样的：
钱徽主持进士考试，事前西川节度使段文昌保荐杨浑之，翰林学士李绅保荐周汉宾，钱徽不理。揭晓后二人榜上无名。中选的是郑朗（郑覃之弟）、裴（裴度之子）、苏巢（李宗闵之婿）、杨盈士（杨汝士之弟）等十四人。段文昌不服，向穆宗诉奏此次考试不公，所取都是权贵子弟，并无实学真才，应该重新考试。穆宗又向李德裕、元稹、李绅等征询意见，李德裕、元稹都和李宗闵有仇隙，李绅也因保荐周汉宾没有中选，很有意见，便一致主张重考。结果钱徽下及第人郑朗、苏巢、杨盈士都考得不好而落选，只有裴因裴度的关系特赐及第。钱徽因此被贬为江州刺史，杨汝士被贬为开江令，李宗闵被贬为剑州刺史。从此李德裕、李宗闵两个官僚集团，各分朋党，互相倾轧，继续了四十多年。
白居易对于两方面的党派私斗，决不参加，奉旨复试，只有秉公处理，虽在《论重考试进士事宜状》中说郑朗等“情有可原”，也是就事论事，他对于这个案件是无所偏袒的。
居易虽然知足保和，但他行在“独善”，对自己的行为品格持正极严，在公务上一贯坚持奉公守法，为人上正直不阿。这一年八月，他奉诏去田布家，宣谕田布拜为魏博节度使，田布赠绢五百匹，居易不受却还。穆宗出面，派中使第五文岑，到府上相劝，居易还是坚决不受，并写了《让绢状》，力矫恶习，坚持廉洁奉公。另外，居易在朝廷上依然敢于坚持正义，决不随波逐流，他的言行，赢得了士林的敬重。
长庆二年，元稹入朝为相，有意解除裴度兵权，怂恿穆宗罢兵。穆宗听信元稹，诏除裴度为东都留守，判东都尚书事。居易坚决反对元稹的这种作法，不顾二人友情之私，上《论请不用奸臣表》，揭露元稹之非。
居易在朝的廉洁、正直、不以私害公的品格，深为时人赞许。但是人心叵测，君心易变，他虽然知足保和，不涉党争，并与同朝多数官员关系融洽，但世事难料，七月份，朝廷竟罢去居易的中书舍人，诏除他为杭州刺史。
七、出任杭州刺史
其实，居易内心是十分愿意出任杭州刺史的，这曾是他少年时代的一个梦想。
那时他从心底里羡慕韦应物、房孺复为苏杭刺史的风流潇洒，希望有朝一日也能就任苏杭刺史，领一郡之事，为一方之主。
现在居然去杭州做刺史，可说宿愿已偿，心中自然快慰。因汴、淮有战乱，交通阻塞，取道襄、汉赴任。他有一首五古，自叙求得外任的经过及其心情。后半有云：
……昔予贞元末，羁旅曾游此。甚觉太守尊。亦谙鱼酒美。因生江海兴，每羡沧浪水。尚拟拂衣行，况今兼禄仕。青山峰峦接，白日烟尘起。东道既不通，改辕遂南指。自秦穷楚越，浩荡五千里。闻有贤主人，而多好山水。是行颇为惬，所历良可纪。策马渡蓝溪，胜游从此始。
——《长庆二年七月自中书舍人出守杭州路次蓝溪作》
一路上登山临水，写了许多记游即兴的诗篇。到了江州，旧地重游，许多知交排队出郭欢迎，向他询问别后的情况，他很谦虚地说：“又校三年老，何曾一事成。”沿途遇到的老百姓指点着这位以写诗出名的司马，象他诗中所说的“郡民犹认得，司马咏诗声”。他上岸匆匆访问了旧居“遗爱草堂”，只宿了一夜就又去赶路了。路上经过三十昼夜还不能到达杭州。“烟波三十宿，犹未到钱唐。”可见那时旅行的艰困。
到了杭州，忙于郡政，同时又忙于游览。他徜徉湖上的时间最多，入山游览较少，连天竺、灵隐总计他在任上三年，前后也不过只去了十二回，他自己说：“在郡六百日，入山十二回。”（《留题天竺灵隐两寺》）别的偏远地方去的更少。
他对于杭州刺史这个官职是十分满意的，可用下面的诗句来证明：
……山林太寂寞，朝阙空喧烟。唯兹郡阁内，嚣静得中间。
——《郡亭》
……郡中起晚听衙鼓，城上行慵倚女墙。公事暂闲身且健，使君殊未厌余杭。
——《腊后岁前遇景咏意》
他认为做京官不好，做隐士也不好，只有做杭州刺史不太闹也不太静，最好。他真愿在杭州多做几年官，可惜“皇恩只许住三年”，未免有些遗憾。
他写了许多歌咏湖山之美的七律，如《西湖晚归回望孤山寺赠诸客》、《杭州春望》、《余杭形胜》、《春题湖上》等，传诵最广。此外还有下面两首：
孤山寺北贾亭西，水面初平云脚低。几处早莺争暖树，谁家新燕啄春泥？乱花渐欲迷人眼，浅草才能没马蹄。最爱湖东行不足，绿杨阴里白沙堤。
——《钱唐湖春行》