魏其侯窦婴因得窦太后信任，被任命为继位不久的汉武帝的丞相。但窦太后信黄、老之术，而窦婴、太尉武安侯田蚡及由他们俩推荐为御史大夫的赵绾和郎中令王臧俱好儒术，这与窦太后产生了矛盾，窦太后渐渐对他们不满。到汉武帝建元二年(前139年)，御史大夫赵绾提出，以后不再事事都去东宫请示窦太后。窦太后悉知，大怒，将赵绾、王臧撤职;同时，借机免除了窦婴的丞相和田蚡的太尉职务。

窦婴失宠于太后后，再无权势，他门下的一些宾客逐渐离他而去，有的甚至对他完全不尊重，唯独将军灌夫对他依然如故。灌夫是个刚直的人，他对权势高于己者，从不去奉承阿谀;而对职位低于己者、贫贱者却尤为尊敬。灌夫还结识了不少天下豪杰。魏其侯窦婴失势后，灌夫对他态度不变，“故两人相为引重，其游如父子然(他们在一起有如父子一般)，相得欢甚，无厌(互不厌恶)，恨相知晚也”。

“相知恨晚”即由“恨相知晚也”变化而来。