陈平逃离项羽之后,到修武(秦设之修武县在今河南获嘉)投奔汉军,通过魏无知求见汉王刘邦。刘邦赐给他酒食,并让他去宾馆休息。陈平说:“我是为机密要事而来的。我所要说的事,不能挨过今日。”刘邦便留下他询问机密。通过交谈,非常喜欢他。问道:“您在楚军中担任什么官职?”陈平说:“担任都尉。”刘邦当天就任命陈平为都尉,让他做自己的骖乘,主管监督联络各部将领的事。将领们都喧哗起来,说:“大王当天得到楚军的一个逃兵,还不知道他本领的高低,就同他乘坐一辆车子,还要让他来监督我们这些老将!”刘邦听到这些议论后,反而更加亲近陈平。
        周勃、灌婴都在刘邦面前诋毁陈平说:“陈平虽然是个美男子,但他最多像块装饰帽子的美玉罢了。他的腹中未必有真才实学。我们听说他在家时与嫂子私通,侍奉魏王,不被容身,就逃出来归顺楚王;归顺楚王不合心意,又逃出来降汉。如今大王这样器重他,授予他很高的官职,要他监督各部将领。而我们听到反映,说陈平私下接受将领的金钱,金钱给得多的可以得到好的去处,金钱给得少的就得到差的驻地。陈平,是个反复无常的乱臣,希望大王好好审察他。”经这一说,刘邦对陈平也怀疑起来,便把魏无知召来责问。魏无知说:“我推荐他的时候说的是才能,陛下所问的是品行。如果一个人既能像古代的尾生那样守信,又能像孝已那样孝顺,但在决定胜败命运的关键时刻毫无用处,陛下哪会有闲情逸致去使用这样的人呢? 现在楚汉相持不下,我推荐奇谋之士,只考虑他的计谋是不是真的对国家有利。至于私通嫂子,接受金钱又何足疑虑呢?”刘邦又把陈平召来责问道:“先生侍奉魏王不能相投,便离开他去侍奉楚王,现在又和我交往,讲信用的人该是这样三心二意的吗?”陈平说:“我侍奉魏王,魏王不能采纳我的主张,因此我离开他去侍奉项王。项王不能信任别人,所信任和宠爱的不是项氏本家就是妻舅内弟,即便有奇谋之士也不能重用,我这才离开楚军。听说汉王能够用人,因此归降大王。我空身而来,不接受金钱就无法开支日常的费用。如果我的计谋有值得采纳的,希望大王能够采用;如果没有值得采用的,金钱都还在,我可以封存起来送交官府,请求辞职。”刘邦于是向陈平道歉,给他以丰厚的赏赐,任命他为护军中尉,所有的将领都归他监督。将领们见陈平被如此器重,都不敢再说什么了。
        汉六年(公元前201年),高祖因陈平功高,封他为户牖侯,陈平推辞说:“这不是我的功劳。”高祖说:“我采用先生的计谋,克敌制胜,不是你的功劳又是谁的?”陈平说:“如果没有魏无知,我怎能进见陛下呢?”高祖说:“先生可说是不忘本了。”于是又赏赐了魏无知。