时淮南军已渡过淮水，于徐邑三十里处扎下大营。侯桓亦引兵出城，将兵马分为三队，令部将高配引军三万扎于东北角，王双亦引军三万扎于东南角，侯桓自立营于正东，欲以三处彼此相救为奇兵。
裨将许倩道：“英布善于用兵，民素畏之，不可轻易出战。望将军深沟高垒，保守疆土，以待朝中出兵来援。”侯桓笑道：“人皆言英布有万夫不当之勇，然吾深知兵法，视其如小儿一般。今不战则已，一战必擒之。”
许倩暗自叫苦，复进言道：“兵法云：‘诸候自战其地为散地’。今将军兵分三处，彼败吾一处，余者皆走，安能相救？凡兵散则势弱，兵聚则势强，此兵家之常理也。将军若必欲一战，当合军以击也。”
侯桓大怒道：“吾自幼熟读兵书，量你一西楚降卒，何敢与我论兵。”欲杀许倩，众将劝免。
次日会战，两军各选高坡陈兵相对。侯恒令左右军一齐进兵，以骁将愈建为先锋，冲击淮南军大阵。愈建乃临淮人氏，善使双刀，臂力过人。英布立于山头，见楚军杀来，使张顺来迎战，张顺引数十骑拍马下山，与愈建交锋。
战十余合，张顺拨马往西南败去，军士皆抛戈弃戟而走。愈建随后追赶。张顺与左右皆弃了马匹、盔甲，徒步往密林中躲避。楚军赶来，便来抢马，军士自相杂乱，彼此不顾。
英布在山上看得真切，乃大喊一声，率领精兵杀下山来，其势如黄水决堤一泻千里，又如钱塘潮涌不可阻挡，所过之处，如摧枯拉朽一般，楚兵都纷纷退让，转眼间已杀至愈建身前。愈建挥刀来斗，战不数合，淮南军皆从山上蜂涌而来，杀声震天。
愈建心惊，不敢力战，拨马便走。英布所乘超光纤离马，乃是宝马也，马上加鞭，顷刻赶上，从后一矛，直透前胸，死尸滚下坡来。楚军见愈建已死，尽皆奔走。
侯桓先使探马看时，回报前军大胜，争先逐敌而去，因此未作准备，乃引数数百军士下山来看，笑与许倩道：“果如将军所言，英布实善用兵也！”
言方未毕，忽见前方大乱，敌军争先而来，英布骤马挺矛，已杀至身前。左右将急来迎敌，却被英布一连刺倒数人，众军皆走。许倩大呼道：“将军且走，我来挡之。”
侯桓早已惊得魂飞天外，闻言方醒，急拨马而逃。英布直奔许倩，交马三合，一矛刺中许倩左手。许倩弃枪于地，往刺斜里逃了。英布挥军掩杀，斩杀军校无数。楚军左右军见侯桓已走，哪敢来挡，于是一哄而散，各自逃命去了。英布乘胜进入徐邑，所降之卒，皆编作后军，营造声势。
侯桓败至僮城，高配、王双寻来，皆言楚军素闻英布之名，先已有了惧心，及见前军大败，军士恐慌，几已散尽，今二将各只有剩下千余人，如何能守住僮城。
侯桓道：“只得请楚王发再兵马来援。”高配道：“楚国之军皆在将军掌握，何处再有人马？”
正议论间，淮南军已至，皆在城下挑战。
侯桓道：“汝二将先去城下迎敌，我这里自有分拨。”二将无奈，只得下城迎战。两军布下阵势，英布出马喝道：“楚军大败，已归降数万军，汝等何不亦降？”
高配与王双道：“英布乃世之勇将，你我如何如敌，不如并力战之，以死相拼。”王双然之，于是二人刀枪并举，一齐出阵，双战英布。英布绰戟接战，数合之中，一矛刺王双于马下。高配欲走，英布赶上，亦将高配杀了。败军回城，欲寻侯桓，哪里找得到人。
原来侯桓自知不敌英布，归彭城又怕楚王降罪，乃趁高配、王双下城迎敌之时，已收拾财物，弃城逃命去了。守军能走的都走了，不能走的，都开城投降了。英布得了僮城，安顿以毕，复引军来取彭城，令将军肥铢引五千骑兵为先锋。肥铢乃浔江人，身长九尺余，使一口大砍刀，勇力过人。
探马报至彭城，刘交大惊，聚群臣商议道：“我素知英布威武盖世，其勇不在项羽之下，今据九江，又得荆、楚大半，如猛虎添翼，势不可当，倘若率兵直至彭城，如之奈何？寡人欲逃薛郡已避其锋。”
申公道：“不可。大王若走，楚国实亡也。我有勇士曹哨，可敌英布，不如使之迎敌，以破淮南兵。”说话之时，人报淮南军在城下叫阵。
刘交道：“让曹哨去迎敌。”曹哨乃披挂上马，引数十骑下城来战。淮南将肥铢见有将出，也不答话，挥刀来战。战不十合，一刀将曹哨挥于马下，败军皆奔回城报予刘交。
刘交大惊，复问群臣道：“何人敢再去迎敌？”众臣皆不敢出。刘交只得令军士严守勿出，加强防御。肥铢见楚兵不出，乃收兵扎下营寨。
次日，英布大军到，见刘交据城不出，便休息一日，待士卒疲劳恢复，乃令肥铢、清简、张顺分攻东、南、西三门，自却去北门十余里处埋伏。于是淮南军大小军校皆来攻城。
刘交正在城中计议，闻得外面金鼓震天，杀声鼎沸，知淮南军已攻城，遂谓群臣道：“英布难敌，彭城不可守，不如弃城逃走，以全性命。”人报北门无敌兵。