后来，项羽在彭城自封西楚霸王，成为名义上的天下之主，把汉王刘邦撵出三秦。刘邦得韩信为大将军，起兵复攻三秦，天下的局势随之变化，不少诸侯看到刘邦势力渐渐壮大，就改投刘邦。其中，殷王司马印集聚人马明确反楚。项羽震怒，派陈平前去讨伐。司马印的人马不多，陈平引魏王客居在楚国的部下前去，很快就收复了。项羽任命陈平为都尉（仅次于将军一级的武官），赏给了他五百两黄金。但是，不久后刘邦的军队又攻下了殷国。项羽认为以前平定殷国的将领官员不得力，要统统杀掉。陈平闻听，认清了项羽有勇无谋、不会用人的本质，把赏金和官印封存起来派人送还项王，只身从小路逃走。
在路上，陈平认识到当时的天下，只有刘邦才有可能战胜项羽。刘邦虽然跟自己一样是草民出身，但不出几年就网罗了大批文臣武将。项羽用人，一看出身，二看学历，三看带兵，所以在项王那里，武将比文臣多；刘邦用人，文武并重，甚至对文人的重视超过了武将。陈平以前有个朋友叫魏无知，现在投到汉王帐下做官，陈平就想通过老朋友的推荐到刘邦手下混口饭吃。
其时刘邦的军队驻扎在修武（今河南修武县）。陈平要经过一条河才能抵达。到了渡口，只有一条船过渡。那船夫见陈平衣着光鲜，撑船时不停地打量他的腰间。陈平本来就是鬼精灵，一眼就知船夫认为他腰间藏有财宝，想图财害命。陈平心头害怕，但脸上丝毫不露，就脱掉衣衫，光身子帮船夫划船。船夫见这个长相俊美的人其实身无长物，就没有杀他。
陈平找到魏无知。魏无知当时只是一个小官，在刘邦那里并没有多大的话语权，但老朋友逃亡至此，还是硬着头皮向汉王推荐。刘邦也没太当回事，因为当时各地来投的人实在太多了，就说一起见见吧。陈平随着其他六位来投的人晋见汉王。刘邦当时刚办完公，显得很忙的样子，命手下准备了一些酒食，让这些远道来投的人吃饱后好好休息，有事以后再说。其余六个人都诺诺连声，吃饱喝足后抹嘴退下了，只有陈平呆着不走。
刘邦抬眼看了看他，说你还呆在这儿干嘛？陈平说：久闻大王礼贤下士，所以四方的豪杰才来奔投。然而今日所见，却有些失望。刘邦笑问：何以失望？陈平说：我听说周公当年在吃饭、洗澡时，听闻有贤士来投，把嘴里的饭吐出来，头发没洗完也只是简单扎一下，就出来迎接客人。而大王正与强大的楚国交兵，可以说危急万分，却让我等有心报效大王的人闲置在客舍，怎么可能得到天下呢？
刘邦听了，觉得陈平说得在理，请他坐下，说道：魏无知举荐你，说你有才华。可你为何不选择强楚而要投弱汉呢？陈平答道：强弱是会转换的，春秋时的霸主如今都已烟消云散，战国时的强国如今都已土崩瓦解。陈涉被章邯所败，章邯被项羽所败，项羽因为太过自负而轻视天下的贤士，也必将为大王所败。纵观古今天下大势，成败的原因很多，但最主要的是君王正确使用了贤才。国家之间的争夺表面上看是兵马的争夺，实质上是人才的较量，就如同一个人拥有强壮的身躯但没有高明的策略也只能充当打手一样。自古以来都是智取天下而非力取，大王如果看到人心的力量，就能收罗贤士、团结人民而取得天下，区区项羽只有匹夫之勇，又有什么可担心的呢？
刘邦听了，非常振奋，就问：先生在楚国做什么官？陈平说是都尉。刘邦说：好吧，我就任命你为都尉，负责监管军队，核查将领们的纪律；同时，担任我的参乘（以前是樊哙担任这一职务，就是刘邦出行时在左右负责安全的）。陈平高兴地接受了任务，跳槽成功。
刘邦的这个任命立即招来了老部下的反对，就如同当初他们反对韩信一样。他们说：陈平不过是楚国跑出来的逃兵，还不知是不是细作，大哥就与他同乘一辆车，让他监督我们这些老兄弟！消息传到刘邦的耳朵里。他问张良自己的决定是不是合适。张良说，主公要平定天下，就需要各式各样的人才。陈平有无才华，要在实际的工作中才能看得到。不过有一点我是赞同主公的。主公这些老兄弟自恃与您的亲密关系，经常排挤外来的将领，如果让与主公一同起事的人监督军队，难免顾念旧情法外施恩，而外来的人则没有这个顾虑。
刘邦听了张良的劝告，反而更加宠信陈平。
从这一点上来讲，刘邦和张良在用人上都有宽广的胸襟，因为帮派容易结党营私，事业就干不大。刘邦如果没有宽广的胸襟，就只能当家族企业的老板，最终只能以失败收场。
刘邦的大军攻下彭城后，被项羽三万精骑所败。队伍重新聚拢后，在张良的策划下驻扎荥阳，任命陈平为亚将，隶属韩王信（韩王信是韩襄王之孙，被刘邦封为韩王，为与韩信区别，史上均称韩王信）。当时刘邦的军队，每路大军设置大将军一人，亚将一人。所以，陈平的职位是次将，相当于副司令员。陈平监督军队时，有将领送给他金子，他就笑纳了。
陈平的所作所为在军中招来痛恨，各路将领就请跟随刘邦出生入死的老兄弟们出面告陈平的状。周勃、灌婴、曹参、卢绾等沛县出来的兄弟组成了一个反映情况小组，关起门来向刘邦说陈平的坏话。他们说：大哥啊，现在军中都在谈论陈平。刘邦问，都说了些什么？老兄弟们说：陈平利用大哥您给他的权力，在军中收受钱财，送金子多的就安排到好的去处，送得少的就安排到不好的去处。他这样乱来，汉军如何管理？刘邦沉默不语。老兄弟们又说：陈平长得是比俺们好看，但不过像是在帽子上装饰美玉，表面光鲜，实际上没什么鸟用。我们听说他在家乡的时候，跟他嫂嫂有一腿；侍奉魏王时根本没有一点用，只得逃到项羽那里；项羽看不起他，他又逃出来投奔我们。这种反复无常的小人，怎么能跟子房先生、萧何大人相比呢？