汉高祖刘邦(公元前206—前195年在位)想要废掉太子刘盈,改立戚夫人的儿子赵王刘如意。很多大臣极力劝阻高祖不要这样做,却毫无效果。吕后非常惶恐,不知道应该怎么办。有人向他建议说:“留侯善于筹画计策,皇上很相信他。”吕后就派建成侯吕释之前去胁迫留侯张良,说道:“你一直都是皇上的谋臣,如今皇上想要更立太子,你怎么能在家垫高枕头睡大觉呢?”留侯说:“当初皇上多次处于危急之中,所以我的计策能够荣幸地被采纳。如今天下安定,皇上是因为偏爱的缘故想要更立太子,这是骨肉至亲之间的事,即使我们100多人进谏也没有什么益处。”吕释之坚持要他想出一条计策。留侯说:“这确实是难于用言辞争辩的。当今天下,皇上不能招致而来的只有4个人,这4个人年纪老了,都认为皇上对人傲慢、轻侮,所以逃避在商山(在今陕西商县东)中,坚持节操,不做汉朝的臣子。然而皇上尊重这4个人。如今您果真能不可惜金玉璧帛,要太子写一封言辞谦逊的信,准备好坐车,派能言善辩的人前去恭请,他们应当会来的。如果来了,请把他们当成贵客看待,让他们经常跟随太子上朝,使皇上看见他们,皇上一定会惊异地询问他们。皇上早就知道这4个人贤德,见太子和他们在一起,这必然对太子是一大帮助。”于是吕后就让吕释之派人捧着太子的书信,用谦恭的言辞和丰厚的礼物去迎接这4个人。4个老人到了,就以贵客的身份住在建成侯的家里。
        汉十一年(公元前196年),淮南王黥布反叛,高祖病倒了,想要派太子挂帅,领兵前去讨伐。四位老人互相商量说:“我们来的目的,是想要保全太子。如果太子领兵去平叛,事情可就危险了。”于是劝告建成侯说:“太子领兵作战,即使能建立战功,那么权位也不可能再超过太子;如果无功而回,那从此可就要遭受祸害了。况且与太子一同出征的将领们,都是同高祖一道平定天下的猛将。如今让太子去统率他们,这与让绵羊率领恶狼并无两样,他们都不会为太子卖力,那太子一定不能建立战功。我们听说,母亲宠爱的儿子,她必定常被抱在怀中。如今戚夫人日夜侍奉皇上,赵王如意经常被抱到皇上的面前。皇上曾说过:‘终究不能让那个不肖之子待在我这爱子之上’。很明显,赵王一定会代替太子之位了。您为什么不赶紧去请吕后找个机会对皇上哭泣着说:‘黥布是天下的猛将,善于用兵,如今的将领们都是陛下当年的同辈人,您却让太子统率这批人,这无异于是让羊去统率狼,没有人肯为太子出力。如果黥布听到这样的部署,那他就会大张旗鼓地向西进犯。皇上即使患病,也还可以勉强乘坐卧车,躺着监督将领们。这一来,将领们就不敢不卖力。皇上虽然要吃些苦,但为了妻儿还是让自己强打起精神来吧。”于是吕释之连夜去会见吕后,吕后果然找了个机会,按照四人说的意思对高祖哭诉了一番。高祖不满地说:“我就知道这小子不配派遣的。还是老子自己走一趟算了!”于是高祖亲自率领大军向东进发,留守在家的群臣都到霸上送行。留侯正在患病,也勉强支撑着送到曲邮(今陕西临潼东),谒见高祖说:“我本应该随从陛下一道去的,实在是病得太厉害了。楚人勇猛敏捷,希望皇上不要与楚人争一时的高低。”他又乘机劝高祖说:“任命太子为将军,监察关中的军队吧。”高祖说:“子房你即使病重,躺着也要强打起精神辅佐太子。”这时,叔孙通任太子太傅,留侯张良行使太子少傅之职。
        汉十二年(公元前195年),高祖率大军击败黥布后回朝。一日,宫中大摆酒宴,太子侍奉在高祖身边。4位老人跟随着太子,他们的年纪都已80有余,须发雪白,衣冠都很奇特。高祖感到奇怪,问道:“他们是干什么的?”4位老人上前对答,各自说出自己的姓名,分别叫做东园公、角里先生、绮里季、夏黄公。高祖一听,不由大吃一惊,说道:“我寻访你们诸位已经好几年了,你们总是躲避我,今天你们为什么自动跟我儿子交往呢?”4位老人都说:“陛下轻视士人,喜欢辱骂人,我们讲骨气,不愿受侮辱,所以惶恐不安地躲避起来了。我们私下里听说:太子为人仁义孝顺,对人恭敬有礼,爱护士人,天下人没有不向往着为太子拼死效力的,所以我们也就来了。”高祖说:“麻烦你们了,希望你们能善始善终地关心保护太子。”
        4位老人敬酒祝福完毕,便告辞,急步离去。高祖目送4人走远,指着他们对戚夫人说:“我想更换太子,但他们4人辅佐他,太子的羽翼已经长成,难以动摇他的地位了。今后吕后真是你的主人啦。”戚夫人一听泣不成声,高祖说:“你为我跳楚舞,我替你唱楚歌。”他唱道:“鸿鹄高飞,一飞千里。羽翼已成,飞渡四海,飞渡四海,当可奈何! 虽有弓箭,尚有何用!” 一连唱了几遍,戚夫人伤心得叹气流泪,高祖起身离去,酒宴也就散了。
        汉高祖最终没有能更换太子,正是留侯用计请来四皓发挥了作用。