太子杨勇失宠,隋高祖杨坚渐有废立之意。高祖婉转征询高颎意见,称晋王杨广的妃子曾神灵附体,宣言晋王必得天下,如今该如何处置其事?高颎长跪进言:“长幼有序,太子怎宜轻言废立!”高祖默然无语,这事只得暂时搁在一边。独孤皇后知道高颎深受高祖宠信,如果不及早除掉他,那么有他从中作梗,废杨勇、立晋王的图谋就会始终难以遂愿。独孤氏长于心计,她很清楚高颎在高祖心目中的地位是如何稳固,若从正面指责高颎,结果只能实得其反:高祖非但不会相信高颎会有什么过错,还很可能加强对他的信任。但高祖毕竟习惯于猜忌,假如有这么一种隐蔽的途径,给她抓住高颎的把柄,然后借题发挥,就不怕高祖不乖乖就范。她果然找到了一点可以巧做文章的材料。原来高颎的夫人死后不久,独孤氏就劝高祖出面替他续弦,高祖将皇后的建议转达高颎。高颎却流泪陈谢,认为自己年事已高,只宜于退朝后吃斋念佛,说到续娶正室,虽是皇上的一番好意,但他本人确已绝了这方面的念头。高祖听他说得这样坚决,自然不便勉强。说来也巧,就在独孤皇后废立太子的紧要关头,高颎的爱妾生下了一名男婴。独孤氏得到这个消息,已经想到了整倒高颎的办法。高祖稍后也知道了高颎暮年添子一事,高兴得手舞足蹈,回头却见皇后板着一张老脸,似乎有满肚子的不悦。高祖很奇怪,就问皇后为什么事这样生气,皇后就借机说道:“陛下还那么相信高颎吗?最初陛下一片好心想为他续弦,他心里却装着爱妾,当面欺骗陛下,说什么他年纪已老,不愿再娶,如今不是连儿子都生下来了?显见其诡诈用心,连皇上都不放在眼里,陛下要再相信他,那就未免太过宽宏大量了!”这话说到了高祖痛处,他欲废太子杨勇,原因之一就是对太子不理正妃却与其他内宠打得火热不满,想不到高颎一大把年纪,也会有这同样的毛病!于是高祖也生起气来,此后就渐渐疏远了高颎。高祖议伐辽东,高颍固谏不可,高祖不听,任命高颎为元帅长史,随汉王杨谅出征。这次高颎的运气似乎特别不好,仗还未打,部队里就因阴雨连绵暴发了时疫,只得无功而返。独孤皇后马上又对高祖说:“高颎本来就不想出征,陛下还强要他去,我早就知道他此去绝对难以建功的。”高祖一想不错,心里对高颎就又多了几分看法。而此次征辽东,汉王只不过是个少年,虽名为元帅,一应军机大事实由高颎专管,这也是高祖事先就安排好的。高颎却过于认真,以为自己至公无私,只要保证不负高祖重托就行,所以杨谅的许多建议他都认为过于幼稚而未予采用。杨谅年少气盛,对高颎非常不满,回来就向皇后哭诉说他幸而没有被高颎杀掉。这话等于是火上浇油,杨坚不听则罢,一听之后只觉得高颎简直太过放肆,也就很想杀一杀他的威风。恰好不久以后上柱国王世积因罪被杀,高颎竟也被别人抹上了黑灰。高祖下令治罪,免去了高颎的官职,仍保留其国公的爵位,放他回第闲居。不久,又以其他莫须有的罪名将高颎削职为民。独孤皇后暗暗高兴,高颎这块挡在她废立太子之路上的最大的石头终于被她搬走了! (《隋书·高颎传》)