杨素积功累累,皇帝所给予的宠遇也在所有朝臣之上,尤其是仁寿初年代替高颍担任尚书左仆射以来,荣耀几乎归于一门,同为尚书列卿者有他的胞弟杨约、叔父杨文思、杨文纪以及堂叔杨异;杨素的公子们毫无汗马功劳可言,也都一个个不是柱国就是刺史。高第华宅与宫廷相似,服役童仆数千,承欢妓妾亦达千余,真可谓是富贵无比,仅次于皇帝一人。富贵总是与权势为同行伴侣,杨素的权势之炙手可热,也是人所共知。他党同伐异,辣手无情,顺之者则昌,逆之者则亡。他先后参与筹划废除太子杨勇、蜀王杨秀的阴谋活动,栽赃诬陷贺若弼、史万岁等忠于朝廷的功臣,因此整个朝廷对他噤若寒蝉,莫不强颜畏服。当然也有不信邪的,如兵部尚书柳述,就自恃身为驸马,屡次在高祖面前揭杨素的短处,大理卿梁毗亦上表指责杨素作威作福。隋高祖在这种情况下开始疏远杨素,后来干脆下诏,要杨素不必每天去亲自处理有关琐细事务,若有重要工作,只须三五天一次集中评议一下就行了,否则身任宰辅,事必躬亲实在太过辛苦。隋高祖这番话说得很客气,很漂亮,好像特别关心杨素的身体健康,其实是借机剥夺杨素的权力。这种状况一直持续到隋高祖仁寿末年,杨素始终有职无权。隋炀帝杨广即位以后,也仍然仿效他老子处理杨素的那一套,表面上对杨素加官进爵,暗里却处处抑制,使杨素不能兴风作浪。他对杨素的能量实在了解得太清楚了,他能从晋王一跃升为太子以及最终稳稳地登上皇位,至少有一半以上是杨素的功劳。这样的危险人物,他怎会让他再手握实权?他甚至于比他老子更进一步,多少次祈祷过杨素早日魂归九泉。当太史向他报告隋朝的星象分野内将有重要人物面临生命之忧时,他便很自然地将杨素改封于楚地,因为根据厌胜术,楚与隋同在这一星象分野之内,他试图通过这种方式将大难转嫁到杨素头上。杨素真正病重之时,炀帝虽然屡次派名医为他诊治,并赐予最好的药物,暗中老是问这些御医杨素还能活多长时间,他实在是惟恐杨素不死。杨素一点也不傻,他还不明白高祖和炀帝这一对父子对他的真实用心?所以患病之后既不服药,又不调养,终于在大业二年(606)病死。(《隋书·杨素传》)