卢贲为杨坚当上皇帝确实尽心尽力,功劳非小,可是最后他只落得个散骑常侍,高颍、苏威却位居极品,共掌朝政,这件事使他闷闷不乐。人言得陇望蜀,确是实情。卢贲既然不满意自己的境遇,免不了心怀侥幸,暗中结纳当时也不得志的刘昉,串通上柱国元谐等三人,意图劾黜高、苏,由他们五个人共同辅政;不仅如此,他还想一箭双雕,同时废太子杨勇,另立晋王杨广为国储。为了达到目的,他亲自向太子煽风点火,用意无非是挑起杨勇与杨广兄弟内讧,他好渔翁得利。这一阴谋不久就败露了,刘昉等人都把责任推卸到卢贲身上,另一位同谋张宾也与他一样做了替罪羊。按照律条他们都难逃一死,但隋高祖杨坚却网开一面,仅将卢贲、张宾除名为民,不久又恢复了卢贲的爵位,授官检校太常卿。卢贲在出任齐州刺史之时,碰上荒年米贵,他又挺身犯险,禁止人家粜买谷米,由自己一手垄断,这件事被人告发以后,他再次受到除名为民的惩罚。如果追究何以罪重罚轻的根源的话,当然还是隋高祖的宽大为怀。老实说,隋高祖对卢贲确实做到了仁至义尽,尽管卢贲两次身犯重罪,他都轻描淡写地放了过去,而且在卢贲第二次革职除名后,他又不计前嫌,在教育卢贲之后,下诏恢复了卢贲的原职。卢贲经过这一番沉沉浮浮,并未吸取教训,数日之后他因对诏不合皇帝本意,受到高祖指责,他便搬出自己的功劳来搪塞,并有怨言。高祖这一下动了真火,决计不再启用卢贲。当太子出面求情,称这班人均系佐命元勋,虽然性行轻险,似乎亦不宜轻易废弃。高祖说,我对他加以抑屈,其实是想曲意保全他的性命,因为不是这班人替我出力,我不可能有做帝王的机会。但这些人惯于反复无常,他们受宣帝重托辅佐幼主,理该尽忠于北周,结果却将周朝江山交到我的手里。然后当我治理天下,忽然又起反心,刘防、郑译早已因此受到了应有的惩罚,而卢贲之流仍不满意各自的待遇。对这样的人,我实在不知道该如何处置才好,授与高官厚禄呢,他们又不好驾驭,不用他们呢,我的耳朵里又会充斥他们的无穷怨言,所以这些人是自己作孽,难以让人信赖,并不是我故意废弃他们。众人即使要怪我薄待功臣,我也顾不了这许多了。苏威眼见高祖两头为难,就向他献策,采取后汉光武帝对待功臣的办法,将这班人统统以列侯身份遣回各自的府第休养,使他们既能功赏相符,又无从干预朝政。高祖茅塞顿开,就从卢贲开始,实行废官居家的策略处理功臣。卢贲废官回第,当年病死。(《隋书·卢贲传》)