“小人”每个地方都有，他们造谣生事，挑拨离间，兴风作浪很令人讨厌，但你也没有必要抱着仇视的态度。仇视小人固然可以显示出你的正义，但这并不是保身之道。因为你仇视小人的结果就是得罪了小人，他是会对你展开反击的。也许你不怕他们反击，也许他们也奈何不了你，但你要知道，小人之所以为小人，是因为他们始终在暗处，用的始终是卑鄙下流的手段，而且不会轻易罢手。你别说你不怕他们对你的攻击，看看历史的血迹吧，有几个忠臣能抵挡得过奸臣的陷害？
杨炎与卢杞在唐德宗时一度同任宰相，卢杞的爷爷是唐玄宗时的宰相卢怀慎，以忠正廉洁而著称，从不以权谋私，清廉方正，是位颇受时人敬重的贤相。他的父亲卢奕也是一位忠烈之士。卢杞在平日里不注意衣着吃用，穿得很朴素，吃的也不讲究，人们都以为他有祖风，没有人知道卢杞本人是一个善于揣摩上意，很有心计，貌似忠厚，以厚脸来取得别人的信任的人。卢杞除了巧言善辩，别无所长，但嫉妒贤能，脸厚心黑，使坏害人却是拿手好戏。但大奸似忠，卢杞靠着左右逢源的厚黑之道，很快就由一名普通的官员爬上宰相的宝座。
与卢杞同为宰相的杨炎，是中国历史上著名的理财能手，他提出的“两税法”对缓解当时中央政府的财政危机立下了汗马功劳。后来的史学家评论他说：“后来言财利者，皆莫能及之。”可见杨炎确实是个干练之才，受时人的尊重和推崇。此外，杨炎与卢杞在外表上也有很大不同。杨炎是个美髯公，仪表堂堂，卢杞脸上却有大片的蓝色痣斑，相貌奇丑，形象琐屑。
然而博学多闻，精通时政，具有卓越政治才能的杨炎，虽然有宰相之能，却没有宰相之度。尤其是在处理与同僚的关系上，他恃才傲物，目中无人，特别是对卢杞这样的小人，他压根儿就没放在眼里。两人同处一朝，共事一主，但杨炎几乎不与卢杞有丝毫往来，按当时制度，宰相们一同在政事堂办公，一同吃饭，杨炎因为不愿与卢杞同桌而食，便经常找个借口在别处单独吃饭，有人趁机对卢杞挑拨说：“杨大人看不起你，不愿跟你在一起吃饭。”
因相貌丑陋内心自卑的卢杞自然怀恨在心，便先找杨炎手下亲信官员的过错，并上奏皇帝。杨炎因而愤愤不平，专门找卢杞质问道：“我的手下人有什么过错，自有我来处理，如果我不处理，可以一起商量，你为什么瞒着我暗中向皇上打小报告！”弄得卢杞很下不来台。于是两个人的隔阂越来越深，常常是你提出一条什么建议，明明是对的也要反对；你推荐那个人，我就推荐另一些人，总是较着劲、对着干。
卢杞与杨炎结怨后，千方百计谋图报复。他深知自己不是进士出身，又面貌奇丑，才干更是无法与杨炎相比，但他凭借黑之才，极尽阿谀奉承之能事，并逐渐取得了德宗的信任。
不久，机会终于来了。节度使梁崇义背叛朝廷，发动叛乱，德宗皇帝命淮西节度使李希烈前去讨伐，杨炎不同意重用李希烈，认为此人反复无常，对德宗说：“李希烈这个人，杀害了对他十分信任的养父而夺其职位，为人凶狠无情，他没有功劳都傲视朝廷，不守法度，若是平定梁崇义时立了功，以后就更不可控制了。”
然而，德宗已经下定了决心，对杨炎说：“这件事你就不要管罢！”谁知，不会察颜观色的杨炎并不把德宗的不快放在眼里，还是一再表示反对用李希烈，这使本来就对他有点不满的德宗更加生气。
不巧的是，诏命下达之后，赶上连日阴雨，李希烈进军迟缓，德宗又是个急性子就找卢杞商量，卢杞看到这是扳倒杨炎的绝好时机，便对德宗皇帝说：“李希烈之所以拖延徘徊，正是因为听说杨炎反对他的缘故，陛下何必为了保全杨炎的面子而影响平定叛军的大事呢？不如暂时免去杨炎宰相的职位，让李希烈放心。等到叛军平定以后，再重新起用，也没有什么大关系！”
这番话看上去完全是为朝廷考虑，也没有一句伤害杨炎的话，卢杞排挤人的手段就是这么高明。德宗皇帝果然信以为真，就听信了卢杞的话，免去了杨炎的宰相职务。就这样，杨炎因为不愿与小人同桌就餐而莫明其妙地丢掉了相位。
从此卢杞独掌大权，杨炎可就在他的掌握之中了，他自然不会让杨炎东山再起的，便找茬整治杨炎。杨炎在长安曲江池边为祖先建了座祠庙，卢杞便诬奏说：“那块地方有帝王之气，早在玄宗时代，宰相萧嵩就曾在那里建立过家庙，因为玄宗皇帝曾到此巡游，看到此处王气很盛，就让萧嵩把家庙改建在别处了。如今杨炎又在此处建家庙，必定是有篡权夺位的谋反野心！近日长安城内到处传言：‘因为此处有帝王之气，所以杨炎要据为己有，这必定是有当帝王的野心。’”
什么！杨炎有“谋反篡位”之心？岂能容之！于是，在卢杞的挑拨下，勃然大怒的德宗皇帝，便以卢杞这番话为借口，将杨炎贬至崖州（今海南省境内）任司马，随即下旨于途中将杨炎缢杀。
杨炎明知道卢杞是个得罪不起的小人，却为了芝麻粒儿大的小事，公开与对方撕破了脸面，最后遭到了对手的暗算，实在是不明智之举。