唐德宗刚刚登基时，确实也很想有一番作为，但好景不长。他的走下坡路，与他重用卢杞互为因果。史家说他“忌受欺于奸谀”，这“奸谀”，首先指的就是卢杞。
大凡奸佞之徒，都有进馋的恶习，喜欢在上司或主子面前说他忌恨之人如何如何之可恶。其实，这手法是很拙劣的，很容易引起上司或主子的警觉，除非他们已经昏庸之极。王充在《论衡·答佞》中，曾说到佞与馋的区别：“佞人不毁人。如毁人，是谗人也”。在他眼里，佞人比馋人来得高明：“誉而危之，故人不知；厚而害之，故人不疑。是故佞人危而不怨，害人之败而不仇，隐情匿意为之功也。”唐德宗时的卢杞，大致就是这种佞人，他不在“人主”面前说人之短，却反其道而行之，专以美言杀人。
张益与卢杞同时为相，此公忠直，也为皇上所看重，卢杞就想除掉他。他知道皇上想派重臣去凤翔带兵，便自告奋勇地说：“凤翔将校皆高班，非宰相无以镇抚，臣请自行”，似乎很有点“越是艰苦的地方越要去”的味道，其实不然。他知道皇上是不会派他去的，于是又进一言：“陛下必以臣貌侵，不为三军所伏，固唯陛下神算。”表面上是说自己相貌丑劣，实际上是暗示张益仪表堂堂；表面上是说三军不服于己；实际上是暗示张益德高望重，以致使皇上确认此差非张益莫属。他没有一句诽谤张益的话，却神不知鬼不觉地就把张益从相位上打发走了。
太子大师颜真卿，也是卢杞忌恶之人，时值李希烈自称天下都元帅，举兵反叛，卢杞就想借李希烈之手，除掉颜真卿。他力主唐德宗派人去宣慰李希烈，并为颜真卿大大“美言”了一番：“颜真卿三朝旧臣，忠直刚决，名重海内，人所信服，真其人也！”于是唐德宗真的派遣已经上了年纪的老臣颜真卿去宣慰李希烈。诏下之时，举朝失色。谁都知道这将意味着什么。在平定安禄山叛乱时曾立下赫赫战功的颜真卿，以后果真死于李希烈之手。
