县时，说实话，英布根本不愿意见他。声称自己还在生病。事实上，英布现在最讨厌的就是使者。不管是刘邦的，还是项羽的，他都不想见！
今天一个使者、明天一个说客，尔虞我诈，你死我活，你们到底烦不烦呀？英布你错了！所谓人在江湖，身不由已。既然刀已拔出，血已沾染，这一条路你就只能一直走到黑！
英布派了自己手下的太宰去接待随何，随何一连三天都没能见到英布的面，他终于坐不住了，对太宰先生道“我知道九江王之所以不肯见我，是认为当今天下楚强汉弱。不过这正是我此次出使要来说明的。现在请九江王当面听我一说。如我说得对，就请九江王听取；如我说得不对，就请连我及这二十个随从全都砍了，也好向项羽、向天下表示九江王永不背楚之心”
英布一听这番话，想想也有道理。那就见一见这个随何吧。两人相见，随何单刀直入地直接问“请问大王：你和项羽是什么关系”英布笑了“你这不是明知故问吗？他是老大，我是马仔，我一切全都听他的”
随何“错！请大王回想一下：当初你老大项羽亲自出马攻打齐国时，叫你一起上，你却只派了四千人助战，你这叫全听他的吗？还有汉王攻陷彭城，项羽叫你一起去救他老家。你拥兵万余，却袖手旁观，你这叫全听他的吗”英布愣住了，支吾道“当时情况特殊，主要是我身体有病不能出战嘛”
随何“又错！你根本就是在装病。其实大家都是明白人，我也知道你心里想的什么。你表面效忠项羽，其实心里已经想背弃他了，只不过因为目前汉弱楚强，你不便光明正大的表态。在这里，我要负责任地告诉大王：项羽剩下的好日子没几天了”英布“你此话从何说来”
随何“请大王听我分析：第一，项羽不义，毁盟约、杀义帝（虽是项羽在背后指使，但英布却是杀义帝的直接凶手之一。很难想象随何敢当着英布的面直接说出这样的话）废旧王，全民公敌是也。第二，汉王联合众诸侯，在成皋、荥阳那里深挖沟，广积粮，坚如磐石。综合这两点，项羽以不义之师攻打正义之师，败势定也！孰强孰弱，一目了然，而你却还想从项羽那里寻求保护，这真是让人想不通”英布“按你这么说，如果我背叛项羽，就一定能够打败他了”
随何“我的意思不是说凭您九江王的兵力就可打败项羽。而只是说：如你背叛项羽，把他拖住几个月，汉王就有充裕时间做好充分准备，那项羽必败无疑”英布“哦，那我拖住项羽有什么好处”
随何“如你愿意归汉，那汉王必定封你为王。况且六县这块地盘本就是你的，不封给你封给谁呀”英布大喜“好，成交，就按你说的办”
随何终于露出舒心的一笑。大事搞定！这一趟果然没有白来，过几天回去告诉刘邦，看他还要不要欺负我们这些文臣不是干大事的料？但随何高兴得太早了，事情还未就此了结，一场新的危机正在悄悄降临！
果然，随何前脚刚刚说服英布，后脚项羽的使者也到了。而且还与他们同住一处——九江政府招待所。果然不是冤家不聚头啊！这样搞下去绝对不行！随何马上把20个手下全派出去打探项羽使者的动向。很快就打听到了英布与西楚使者秘密约会的时间和地点。
这一天，英布正与楚使开着会呢，随何直接闯进会客厅，果然看到楚使正咄咄逼人地要英布立即派兵剿灭刘邦！这时，随何大声斥道“九江王已经归附汉王了，你们西楚怎么还能催促他发兵击汉”随何这声怒吼一出，英布和楚使都瞬间愣住。好一会后，楚使才反应过来，怒气冲冲地冲出大厅。英布则还像一具僵尸般未彻底苏醒过来。随何又对英布大叫“大王别发愣呀，事情已经暴露，你赶快杀掉项羽的使者，然后跟我一起投奔汉王，不然就来不急了”英布这才醒悟过来“对！就按你说的办”
这是一场没有回头路的战争，英布在随何的蛊惑下，派人把项羽的使者杀掉，随即宣布：背楚投汉！
英布甚至还起兵攻楚。消息传来，项羽暴怒。迅速派出同族将领项声、手下第二猛将龙且率兵征讨九江国。项家军的第一猛将与第二猛将沙场对决。结果是昔日的第一猛将英布抵挡不住龙且的凌厉攻势，大败而逃。
这是英布人生中第一次惨败！这惨败仅仅用龙且生猛来解释是不够的，更因为英布身上已失却了杀气。此时之英布已非彼时之英布，彼时英布从不惧生死，一心冲杀；而此时的英布却前瞻后顾，哪里有利益就往哪里跑，结果只能是被人牵着鼻子走。这就是人性的弱点。勇气一旦脱离生死而与切身利益挂钩，人就像一匹被套牢的野马，英布当年的光荣历史从此一去不复返。他现在甚至害怕与龙且直面交锋，只好像一头驴一样被随何牵着，从小道往荥阳投奔刘邦来了。
12月，英布和随何狼狈逃到了荥阳，见到了汉王刘邦。然而让英布万分意外的是：当他第一次和刘邦亲蜜接触时，刘邦并没有亲自出城热烈欢迎他，而是非常傲慢地宣他进见，刘邦还大剌剌的坐在床上洗脚！
这真是一个大伤尊严的场面。英布是王、刘邦也是王，