乾元二年（759），史思明杀死安庆绪，自称大燕皇帝。两年后，当他再度攻陷洛阳时，他的儿子史朝义却将其杀死，自立为帝，叛军变得四分五裂。
肃宗这个人，由于惧怕将领拥兵自重，总是重用身边的宦官，企图对将领加以节制。被他重用的宦官，先有鱼朝恩，后有李辅国、程元振，宦官势力日益嚣张。肃宗同时又宠信皇后张良娣，纵容她干预政事。张皇后和李辅国起初连成一片，结为一党。后来，张皇后恨李辅国专权，欲谋立越王李系为嗣君，张皇后、李系与李辅国、程元振开始对立。
公元762年，肃宗患病，接连几个月不能上朝视事。四月，玄宗病死，他悲恸不止，病情加剧。张皇后召见太子李豫，皇后说：“李辅国久掌禁兵，权柄过大，他心中所怕的只有我和你。眼下陛下病危，他正在勾结程元振等人阴谋作乱，必须马上先诛杀他们。”太子流着泪说：“父亲皇病情正重，此事不宜去向他奏告，如果我们自行诛杀李辅国，父亲皇一定震惊，于他贵体不利，我看此事暂缓再说吧。”张皇后送走太子，马上召肃宗次子越王李系入内宫商议。李系当即命令宦官段恒俊，从太监中挑选了200多名强健者，发给兵器，准备动手。太监狱中有人将此情报告了李辅国。李辅国、程元振带着党徒到凌宵门探听消息，正遇太子要进宫探望父皇。李辅国谎称宫中有变，阻止太子入宫，并命令党徒将太子动持进飞龙殿监视起来，李辅国假传太子的命令，鼓动禁兵入宫将李系、段恒俊等人抓住，投入狱中。张皇后闻变，慌忙逃入肃宗寝宫躲避。李辅国带兵追入寝宫逼张皇后出宫。张皇后不从，哀求肃宗救命。肃宗受此惊吓，一时说不过话来，李辅国乘机将张皇后拖出宫去。肃宗因受惊而病情陡然转重，又无人过问，当天就死于长生殿。
李辅国杀死张皇后，立太子李豫为皇帝，这就是唐代宗。代宗继位后，继续平定叛乱。而李辅国以立帝有功，益发骄横。竟然对代宗说：“陛下只须深居宫中，外面的政事有老奴来处理。”代宗虽然心中不满，但慑于他手握兵权，只好委曲求全，尊称他为尚父，事无大小，都要与他商量后才能决定。不久，代宗乘李辅国不备，派人扮作盗贼刺杀了李辅国，然后假装下令追捕盗贼，并派宫中使者慰问其家属。
宝应二年（763）初，史朝义兵败之后吊死在树林中，历经八年的“安史之乱”结束了。
不料，这年夏天，又有二十余万吐蕃人大举进兵中原，唐代宗仓皇出逃，长安陷落。吐蕃兵四处烧杀抢掠，长安被洗劫一空。自安史之乱起，长安屡遭洗劫。当年安史叛军攻战长安、洛阳时，肃宗命郭子仪借回纥兵平乱，肃宗曾与回纥兵约定：“克城之日，土地、士庶归唐，金帛、子女皆归回纥。”致使长安、洛阳遭受很大的破坏。而今是雪上加霜，百姓也是欲哭无泪了。
年底，当年威震四方的郭子仪率兵赶走了吐蕃军队，收复了长安。郭子仪率兵凯旋时，代宗为他举行了庆功会。安排官员座位次序的尚书右仆射郭英乂为了巴结宦官鱼朝恩，不顾朝廷礼仪，把鱼朝恩排在仆射的行列里，超出了他应在的位次。颜真卿不畏权势，写下著名的《与郭仆射书》也就是《争座位帖》，打击了他的嚣张气焰。
李辅国被杀后，元载继任宰相。元载与李辅国过去一直有勾结，本是一丘之貉。李辅国死后，元载唯恐有人揭发他的恶行，便通过御史中丞李进以唐代宗的名义向百官宣谕，说下面呈递的奏章，实事少，皇帝没有精力看，改为由宰相筛选之后再呈皇帝披阅。颜真卿不顾个人利害，凛然而起，立即写奏章给代宗，反对这道堵塞言路的谕旨。
在这个奏章中，颜真卿说：“各位高级官员的奏章应该直接禀告皇上，尤其是替皇帝出巡天下的御史等官员，就是皇上的耳目啊！他们了解到的事实应该原原本本地反映给皇上。可是现在皇上堵住了自己的耳目，大家还有什么必要讲话呢？如今战火未停，创伤未复，皇上怎能隔断百官的言路呢？现在让宰相来决定哪些话该听，哪些话不该听，谁还敢反映意见呢？如果大家都不说话了，像李林甫、杨国忠这样的人就会重新冒出来。目前的这种规定，从古至今都不曾有过。皇上如果不早点儿觉悟，就会逐渐把自己孤立起来，到时候恐怕后悔也来不及了。”
这个奏章就是著名的《论百官论事疏》。颜真卿公然批评皇上，言辞如此大胆激烈，自古少有。代宗和元载都气了个半死，但一时又没有办法惩罚颜真卿。后来这篇奏章被传到社会上，影响很大。
永泰二年（766）初，代宗命颜真卿祭祀太庙，庙里的祭器由于长期不加整理，已经覆盖了一层尘土。颜真卿将这个情况如实报告朝廷，元载乘机诬告他以祭器暗喻朝廷，攻击时政，对皇上不尊，应该贬官。代宗深信不疑，贬颜真卿为硖州（今湖北宜昌）别驾，随后又改贬为吉州（今江西吉安）别驾，降到从五品下阶。
此时的颜真卿，已经年近花甲，这是他一生中遭受到的最厉害的一次贬谪。他虽然心情凄凉，但老臣的忠义之心却丝毫没有改变。在给晚辈绪汝的书信中，我们可以看到他的决心：“我去年提意见受到处罚，因为我不会违心地屈从错误，做千古的罪人。现在虽然被远远贬到这里，但我一辈子也不感到羞耻。绪汝啊，你们应当明白我的用心，为政要守住自己的清白呀。”这就是著名的《守政帖》。
此后的十多年，颜真卿虽然身在外任，但每到一处，均励精图治，政绩斐然，老百姓身受其利而念念不忘。
《自书告身》
大历三年（768）春夏之交，颜真卿由吉州别驾升为抚州（今江西临川）刺史。在抚州四年，他继续关心老百姓的疾苦，大力发展农业生产。当地有条抚河，因洪水泛滥，常常淹没农田，他带领民众建起一条石砌长坝，不但解除了水患，而且可以在旱季引水灌田。抚州百姓为了纪念他，就把石坝命名为千金陂，还建起了祠庙祭奠，不忘他为民众所做的好事。
当然，为解脱被贬谪的痛苦，寻求精神上的依托，此时的颜真卿思想也发生了变化。在政务闲暇之余，他一改常态，开始游览名山秀水，探访名胜古迹，热心于佛教、道教活动，并且写了很多的诗文。他还常常亲自去深山开采质地优良的石料，磨平后书丹，让家童镌刻。颜真卿现存于世的书迹，大多出在这个时候。例如：在赴抚州的途中，他经过临川，为道士谭仙岩书《马伏波语》。大历四年（769），他倾慕晋代道士王、郭二真君修道异事，派人赴崇仁县华盖山寻访遗踪，又重修二真君神坛，亲自撰书碑铭。他寻访临川晋代女道士魏华存仙坛遗迹，撰书碑铭，大加称赞时人增修观宇之举。他还游井山华姑仙坛，撰书《华姑仙坛碑铭》，详细记述了道姑黄令微修炼升仙的事情。僧人智清、什喻和道士谭仙岩共同修复的抚州谢灵运翻经台工程完工之后，颜真卿亲临法会，撰书台记。抚州临川县宝应寺修建律藏院，颜真卿亲自撰书碑文，颂述律宗传授渊源。当年，颜真卿还游览了南城县麻姑山仙都观，撰书《麻姑山仙坛记》，对仙人的奇异道术大加赞赏。
大历六年（771），颜真卿从抚州返回都城长安，途经上元的时候，为表达对已故道人李玄靖的崇敬，专程游览了茅山。后来应李玄靖弟子的邀请，为李玄靖撰写碑文。第二年，到宋州时，恰好遇上八关斋会，颜真卿应邀撰写了《八关斋会报德记》。当年秋天，颜真卿在东都洛阳遇到了书僧怀素，几句寒暄，便十分投机，二人大有相见恨晚之意。他欣然为怀素的《草书歌行集》作了序文。
大历八年（775）初，颜真卿到湖州上任，幸遇妙喜寺的高僧皎然。皎然对颜真卿推崇备至，二人一见如故，无比亲密。皎然曾经写了一首诗记述二人相别时的情景。在湖州，颜真卿还与云游到此的著名道士吴筠有过亲密交往。
大历十三年（778），颜真卿在谒拜昭陵途中，经过瑶台寺，作了《使过瑶台寺有怀圆寂上人》诗，表达了对僧人圆寂的怀念之情。
颜真卿不但学问渊博，而且襟怀坦荡，虚己下士，待人热诚。他自幼受伯父、舅父、兄长的影响，注重和社会文儒之士交往，广泛地结交了儒、道、佛、宦等各方面的朋友，很多名流、文采斐然之士都和他成为莫逆之交。这些朋友给了颜真卿莫大的安慰与支持，成为他流放各地后孤独无奈生活中的重要精神支柱。
据载，在湖州与颜真卿交往的文士很多。参与编纂《韵海镜源》的就有五十八人，参与吟诗联句的有二十四人。著名人物除前面叙述的以外，还有诗仙李白、茶圣陆羽、篆书家李阳冰、隐士张志和等一大批丈儒之士。他们有的成为隐逸至友，有的帮助处理政务，有的参与著述，有的成为诗友，有的还一起寻访历史遗迹、筑路建亭、修缮寺观，对于发展地方的文化以及公益事业做了很多的贡献。
在与文朋诗友的交往中，颜真卿在著述和诗文创作上取得了丰硕的成果，《韵海镜源》等著作相继问世。
早在任校书郎时，颜真卿就酝酿编著一部大型的音韵学专著，他留心考订《切韵》，注意引证《说文》等字书进行训解，又增加了经、史、子、集这些经典著作中两字以上成句的词汇，以便起到镜照原本的作用，并且取名叫作《韵海镜源》。任平原太守期间，颜真卿就聘请了一班文人开始修纂，不幸的是，“安史之乱”爆发了，仅写成二百卷初稿便被迫中止，而且写成的书稿在南撤时也大部分丢失。此时，在各方面贤哲之士鼎力相助下，他又补充了释、道等相关的内容，最终梳理成三百六个卷，成为一部音韵学的巨著。这部大型的工具书是写文章、作词赋、编诗歌的重要参考资料，非常便于学习者使用。
在吉州，他的诗作辑为《庐陵集》十卷。在抚州，门客左辅元帮他编定《临川集》十卷。在湖州，编成《吴兴集》十卷。这些著作可谓洋洋大观，可惜在宋代已经散失大半。
好在留存的所有文章已经被后人汇集成了《颜真卿集》，人们可以从中领略到颜真卿的文采。
颜真卿在文学上的成就似乎并不明显，可能被他的名德与书艺掩盖了，其实他家学渊源深厚，又是科举出身，属于正宗的儒士文人。梳理现存的颜真卿诗文作品，人们会很容易发现，这些作品大多数是因事而发，有感而抒。他的写作态度总是那么严肃认真，一丝不苟，就连记述神仙怪异也是如此。他的诗文有的像严霜烈日，不可亵近；有的似忠臣烈士，令人敬仰；有的如亲朋话语，娓娓情深，充分体现了文与儒的统一、学与艺的结合。这些诗文在万花繁茂的唐代文坛上自有其特色，是后人研究颜真卿处事、思想、书艺的珍贵材料，也是研究唐代甚至其他时代历史文化的重要参考资料。