卢杞当了宰相后，便露出了奸人本相，“既得志，险贼浸露，贤者妒，能者忌，小忤己，不傅死地不止。”。特别可恶的是，诋毁正直的户部侍郎杜佑，将其贬为苏州刺史；原宰相李揆素有雅望，卢杞怕他被皇帝重新起用，便遣其去与吐蕃会盟，致使李揆死在路上；最可恨的是，卢杞因为讨厌颜真卿的挺正敢言，在李希烈扯旗造反后，便让高龄的颜真卿代表朝廷去宣慰李希烈。结果，一代大书法家、大忠臣颜真卿终为叛军所害。
在经济方面，卢杞积极推行“间架税”，搞得民怨沸腾、叛乱丛生，恨诽之声满天下。而唐德宗却看不到卢杞的这些恶行，直至因平乱有功，反被卢杞构陷的李怀光持强欲反，上书暴言卢杞罪恶并引起朝臣议论如沸后，李适才似有所悟，将卢杞贬为新洲司马。
可没过多久，李适又要起用卢杞为刺史，还问宰相李勉：“众人皆说卢杞奸邪，我却不知，这是为何？”李勉回答：“天下皆知，而陛下独不知，此所以为奸邪也。”唐德宗打算任命卢杞为一大州刺史的决定，遭到了朝臣们的一致反对，就是龙颜大怒，朝臣们还是反对。不得己，德宗问李勉：“授杞小州可乎？”李勉的回答是：“陛下就是授卢杞一大州也不难，难的是如何应对四方的诽议。”由是，唐德宗只好让卢杞去做了澧州别驾，最后，卢杞就死在了澧州。卢杞死后，李适仍然对其念念不忘，拜其子卢之辅为左拾遗，并先后任杭、常、绛三州刺史。
按照唐朝以貌取才的标准要求，这个鬼貌蓝色的卢杞，除了籍荫一说外，在唐德宗李适的眼里一定是一个体貌丰伟，怎么看怎么舒服的美男子。否则，就不会在自己被叛军打得到处乱跑时，还认为卢杞是堪用之才了。由此可见，识人不是一件容易的事。因为，不论是体貌丰伟，还是鬼貌蓝色，都是人的表象；而真正需要看清的，是人的本质。如果选才者自恃“聪明”，为被选者外表所惑，就很容易会像唐德宗李适那样，看人看走了眼。
