李百药的这一手让会稽郡的形势顿时紧张起来，驱赶百越的流言四起，汉越之间的冲突时有发生，甚至波及到杭州。三国时期，经孙吴数十年的残酷征讨，会稽、丹阳、新都三郡的绝大部分山越被迫出山，徙至平原地区，一部分用以补充吴国的兵源；一部分成为编户，成为平民，或是私家佃客。
但山越作为一个散布在江南至闽南的分散群体，并不是单一的某个民族，更多是兼而有之，其中包括当地土著，也有上山为匪的普通汉人，还有因种种原因从外部迁入的百姓。经过数百年的演变，不仅在徽州的山越人数重新变多，就是会稽以南的山区，也重新出现新的山民，所以才需要安置。
杭州目前是江东百越的大本营，九万多人居住在此，各方面原来对祖金奇一伙的动作很诧异，可是随着对被驱逐的恐惧增加，山越乱成一团，案子根本无法追查下去。余杭郡守陈杲仁有些担心，急忙到转运所拜见刚刚赶来的江淮转运使寇九珙，寇九珙怎么说都是越王的亲信，朝中的重量级人物，比自己更有担当。
寇九珙正在和江南转运所的员外郎刘子翼、鹰击郎将叶孝辩、山越大头领严安在商议此事，听说陈杲仁担心，寇九珙冷漠地笑笑说：“凡是传言要驱赶山越的人，一律当李唐奸细处理，根据祖金奇部下的口供查明是谢家的铁铺，那就查封所有谢家的铁铺。”
陈杲仁、刘子翼张张嘴，这魄力也太大了点，谢家在江南的铁铺可不是一家两家，几乎每座城里都有，加起来至少五十多家。寇九珙安排说：“严安出任余杭郡的鹰扬郎将，立即将四千屯田军编入鹰扬府，开始在全郡抓捕奸细；叶将军，带领你的人查抄谢家铁铺。其他郡县，运转司会行文通知。”
陈杲仁等人只能点头，越王的心腹就是不一样，什么郡守，什么士族豪强，都是无需担心的因素，敢作对就给你颜色看。江都训斥李百药的行文两天后传遍江东，在丹阳的左武卫大将军辅公祐、在宣城的王雄诞都发布命令，不允许对山越、畲民的住所随意搜查，和汉人一样，官府必须有证据，才能搜查。
所有人看得清清楚楚，李百药在江淮军和江都留守司的眼里，一点份量都没有；谢家在江南的铁铺遭到致命一击，全部被寇九珙委托当地军方代管；江淮军等部队都是流寇出身，最喜欢干的就是这种事情，立即出动人马，接管买卖和仓库，一百多位原来在铁铺管事的人陆续被押到余杭郡审问。
江南暗流激涌，但是包括谢家在内，都没有人跳出来，杨崇能放纵鱼俱罗把陇西李氏彻底打翻，就能放纵寇九珙、辅公祐等人再在江南来上一遍。长安的命令迟了半个月，任命鱼俱罗为左侯卫大将军、王雄诞为右侯卫大将军、殷芊为吴郡郡守、闻人遂安为昆山郡守；殷芊、闻人遂安原先都是沈法兴的部下，这个任命表明杜伏威至少表面上让出了吴郡。
山越领袖孙士汉、严安大为激动，杨崇、杜伏威的许诺确实有效，纷纷派人去说服黄山等地的山越出山，估计要有七万多人。这次连辅公祐、寇九珙都给吓住了，急忙飞书长安，已经到达洛阳的杨崇下令，安置在当涂县；当涂县是当年侨置豫州、上党、淮南三郡所在地，城关众多，居民北返后，大部分废弃，正好用来住人。
杨崇另外决定临时命沈法兴原来的尚书右丞徐令言和山越领袖孙士汉为礼部员外郎，专门在丹阳、余杭处置山越、畲民安置之事；同时，一个叫唐临的年轻官员被孙伏伽推荐，派往余杭郡，担任杭州县丞，专门负责审理余杭郡百越的案件。顾曦和张家的家主张归东就在这风雨飘摇的时候，前往江都，拜见到江都巡查的越王杨崇。
张归东的族弟张登被杨崇任命为江右安抚使，协助寇九珙收买两湖流域的各路人马，这让顾曦和张归东看到了指望，此时再不主动，更待何时。杨崇现在人还在洛阳，就派人来传信到江都见面，而不是去洛阳拜见，已经是放低了姿态，给足了面子。真要等到李靖的大军打下荆襄，江淮军彻底被杨崇收复，那时候江左豪门就根本没有任何资本去谈条件，只能耷拉着脑袋等着长安赏一口饭吃。
收到消息的还有江都留守屈突通、江都郡丞崔德本，他们没想到杨崇在洛阳短暂停留后，便在天弃、苏定方、刘鹞子、天鉴、汪华等人的保护下，只带着一万多军队就来江都，还预先给江都方面发了照会。江都城立即群情暗涌，来拜访屈突通的人络绎不绝，包括杨侑的使者袁天罡。
袁天罡是杨崇老友，神闲气定地说：“我在扜泥城第一次见到越王的时候，就感觉他言谈不俗，分别不到一年，他便做了官，我特地去找了他一醉方休。屈突大将军，说实话，我要不是重玄宫的出身，我也会和诸葛全一样，真心实意地投奔杨崇，做一番惊天动地的大事，但是我没办法改变命运，现在杨侑也没办法改变命运，能改变大隋和杨侑命运的只有你。”
袁天罡清楚屈突通矛盾的心理，赌的就是屈突通对死去杨坚杨广的感情，现在左骁卫两万大军在江都，如果出其不意地袭击杨崇的军队，至少有五成的机会。但是袁天罡很聪明地没有说这些，屈突通戎马生