因为扶清灭明军占领了莱州府，接着又马不停蹄地攻入登州府界，登州方面就不顾一起地把包围在牙山四周的清军调回去了。如果被扶清灭明军断了登州清军的老巢，那牙山前线的两万清军也就成了丧家之犬了，游弋在渤海上的福建明军也可以直接利用登州的港口和扶清灭明军取得联系。
一直到包围牙山的清军撤离后，于七等人还被蒙在鼓里，他们并不知道包围圈外发生了什么事。由于粮食耗尽而且屡战屡败，义军就连突围求援的行动也早已停止，完全是在包围圈中困守。得知清军居然退走后，张定南一边派心腹子弟去核实，一边急忙向山寨里的各位头领们报告。
很快，于七等众首领就闻询赶来，这时张定南还谨慎地在山区的外围探查，生怕突然遭到绿营部队的偷袭。其他首领也都有类似的担忧。大家整整折腾了一天，不断地试探着前进，扩大搜索范围，但发现清军的封锁线上已经空无一人，各个路口上都无人防守。
当天太阳下山后，牙山派出敢死队摸黑潜入以前的清军军营，证明确实没有什么埋伏，清军是实实在在地撤退了。根据敢死队对清军营地的侦查，他们发现营地里的灶已经有好几天没用了，看起来清军主力可能在三天前就离开了，这几天守在营里的不过是些故布疑阵的断后部队。今天最后一批断后部队撤退时，有部分绿营士兵纵火焚烧了一些哨所，浓烟冒起，这才被巡山的张定南大侠的手下看出破绽。
虽然急迫地想知道清军到底为什么离开，不过由于义军事先不知道清军撤退，也多日没有尝试出去抓俘虏了解敌情，所以大家商量了半天还是没有得出任何结论。有些人甚至怀疑这是登州部队回府城过年去了。这种猜测虽然很多人觉得不太可能，不过其他人的猜测同样是毫无根据，就是那些怀疑明军发生影响的人，也说不清这到底是江南的战局吃紧，还是山东的周边又出什么乱子了。
“现在最要紧的就是出去收集粮食。”张定南大侠依旧担心清军去而复返，对于和绿营在野外打正规战他是完全没有信心，眼看山寨里就要断粮了，那不管清军到底因为什么原因退兵，抓住这个机会储备粮草才是当务之急。
大家纷纷给张大侠的主意叫好，于七也拍板定下来，全军出动，到周围去收集粮食——经过这几个月的围困后，于七的威望降到了很低的水平上。因为大家都看出来他既无战胜清军的手段，也没有带领大家取得赦免和招安的方案，简而言之，现在牙山包围圈里的各位首领都明白，要是清军又回来了，大家继续跟着于七多半还是死路一条。
趁着收集粮草的机会，有几个首领不辞而别，带着手下逃出了牙山这个看起来很好、但其实却是死地的根据地。其他人也私下嘀嘀咕咕，商议若是清军真的又回来了，大家就这么呆在山里被包围着，就能拖延时间获得宽大处理么？
不过于七没有办法，不代表其他人有办法，对于如何打败山东的绿营，大伙儿都一点儿主意也没有。这些日子来交锋多次，别说甘陕绿营和中央军，就是山东绿营，他们也一次都没有打赢过。哪怕只打赢一仗，也能给大家一点鼓舞，但总打总输，最勇敢、武艺最高强的好汉们也都喋血沙场，这让活着的人们实在看不到希望。
“如果朝廷要招安我们，我们的条件应该是什么？”全军出去搬粮的同时，于七又把首领们找来议事。当初造反的时候大家心气挺高，纷纷表示领头的于七爷说什么也得拿个总兵当当，其他德高望重的江湖前辈也都得分个副将、参将的，最起码也得捞个将军当当。
不过被包围在牙山多日，大伙儿已经没有什么要求了。康亲王大军进入山东以来，清军的战事异乎寻常地顺利，所以清军就不打算宽恕任何一路江湖好汉。在牙山遭到围困后，义军中也有意志不坚定的人出去投降，但清军却不肯接受，而是尽数屠戮，并驱赶进来更多的百姓。这让大家都知道一旦山寨被攻破，无论男女老幼，这牙山周围的好汉、山贼或是百姓都肯定会惨遭屠杀，所以才咬紧牙关坚持下去。
现在清军突然退兵了，手下也纷纷出去给山寨补充粮秣，大家的信心又恢复了一些，无论清军是想回府城过年，还是需要增援其他战场，那都说明清军没办法长久地在牙山周围耗下去。既然清军耗不起，那义军就又有了谈判的余地。于七认为，至少可以说服清廷赦免牙山里所有的人——看到清军把更多的乡亲赶进山后，于七就意识到清军打算彻底屠灭栖霞周围的居民，而于七认为这是他给乡亲们招惹来的祸害。
“原来我还有个把总的差遣，现在我也不要了。”以前于七能够让山东布政使忌惮，也不是因为他的把总身份，而是他密布山东的江湖朋友，操控在于氏手中的大笔黑道买卖，以及于七多年来积累下的巨额财富。而现在于七几乎失去了他所有的一切，他在城中的买卖都干不下去了，江湖好汉死伤惨重，剩下的人也对他感到失望，而于七的财富也在这次起兵中花去了七、八成。
虽然很多人都感到咽不下这口气，但事实摆在眼前，这就让很多好汉失去了斗志——争富贵失败，自己