咸丰一直认为自己是大清有史以来最倒霉的皇帝，当皇子时一直活在才智出众的六弟奕訢阴影下，直到最后关头才侥幸夺得嫡位；死鬼阿玛道光霸占了三十年的皇位方才蹬腿下十八层地狱，给他留下一个内忧外患的摊子；好不容易登基称帝，当年南方就闹起了长毛乱匪，还越闹越大都已经从广西打进了湖南，严重危及到咸丰王朝的统治基础，让咸丰伤透了脑筋，愁白了头发，也让咸丰成为了大清两百多年来最丢脸最窝囊的一个皇帝，对内平定不了长毛乱匪，对外抵御不了洋人的坚船利炮，憋屈之至。
咸丰恨，恨他才干出众的六弟把他比了下去！恨他的废物阿玛给他留下烂摊子！恨他的臣子奴才无能无用，没有尽到做奴才的本分辅佐好他治理大清江山！更恨长毛乱匪不肯乖乖当奴才，偏偏要造反谋逆！但咸丰最恨的，还是一步接一步蹬鼻子上脸的洋鬼子！
正因为痛恨洋人，痛恨洋人强迫大清朝廷签订的一道道屈辱条约，咸丰登基后干的第一件大事就是罢免主和派代表军机大臣穆彰阿，第二件大事就是从重嘉奖组织百姓阻止英国商人住进广州城的两广总督徐广缙和广东巡抚叶名琛！
结果这一手也收到了让咸丰满意的效果，不但关于和洋人交涉的麻烦事几乎消失不见外——虽然这是因为徐广缙和叶名琛故意扣留，朝野上下也响起了巨大的反洋排外声音，臣子奴才纷纷以反洋仇洋为荣，彻底断绝与洋人通商贸易的呼声也是此起彼伏，如果不是还有长毛发逆这个内患，咸丰肯定已经效仿他那位脸上长有许多特殊印记的先祖康熙大帝，下圣旨把所有洋人撵出大清了！
在这样的背景下，杨文定与袁祖悳分别弹劾吴健彰的奏折送到京城后，自然收到了让他们满意的效果，而对吴健彰祖孙来说更加倒霉的是，虽然现在的首席军机大臣祁寯藻相对来说不是那么保守愚昧，比较能够接受新兴事物，可是杨袁二人的奏折，却偏偏被军机处的排外派代表、连英国谈判代表都能扣押逮捕的穆荫首先看到，所以在大怒之下，穆荫连想都没有想，乘着咸丰来军机处的机会，直接就跳过祁寯藻把杨袁二人的折子直接递到了咸丰面前，结果这么一来，咸丰大帝当然是龙颜震怒，当场就拍桌子砸板凳了。
“胆大包天！简直就是胆大包天！”咸丰大帝拍着龙案咆哮道：“这个吴健彰，竟然敢纵容他的孙子公开帮助洋人传教，还敢让他的孙子帮洋人买地扩大租界，简直就是胆大包天！无法无天！这个狗奴才是吃了豹子胆了，连这样的卖国之事都敢干？！”
“万岁，这个吴健彰本来就是一个卖国求荣之徒，做出这样的事并不奇怪。”穆荫添油加醋道：“四年前的青埔教案，他负责与洋人谈判言和，不但没有追究洋人违禁传教之罪，相反还逼迫青埔百姓筹银赔偿洋人，致使青埔民怨沸腾，也让洋人的气焰更加嚣张，现今他又纵容子孙帮洋人传教帮洋人买地，不过是故技重施，只顾讨好洋人而不顾国家大义，实在是罪该万死。”
说罢，穆荫还又忍不住补充道：“还有，江苏巡抚杨文定奏，发逆细作在长江下游活动猖獗，打的就是拜上帝信耶稣的旗号，吴健彰是广东人，与发逆贼巢广西距离极近，现在又纵容他的孙子大力传播洋教，威逼利诱大清百姓拜上帝信耶稣，这其中，恐怕还有什么内在的联系。”
“狗贼！”咸丰骂了一句脏话，又吼道：“拟旨，立即免去这个吴健彰的一切官职，交部议处！还有，把他那个孙子也给朕抓了，交刑部一并议罪！”
事情到了这步，原本杨抚台和袁县尊的如意算盘已经达成，吴健彰和吴超越祖孙也注定要倒足大霉。然而很可惜的是，天公助恶不助善，偏偏在场的还有一个首席军机祁寯藻，人品勉强还算不错的祁寯藻既是和吴健彰那个已经蹬腿的靠山多少有些交情，又颇为不满穆荫跳过他直接向咸丰递交地方奏折，所以为了体现自己首席军机大臣的威严，祁寯藻便站出来说了一句公道话，道：“万岁，杨文定与袁祖悳奏报之事虽然可恨，但通篇都是具报，并未出示真凭实据，仅凭此就将吴健彰革职拿问，似乎有些过于操切，以臣之见，最好是详查之后再定罪不迟。”
“还查什么查？”早就瞄上祁寯藻位置的穆荫反对道：“吴健彰不过是一个小小道台，先革职拿问，然后再查他的罪行又有什么影响？”
“穆中堂，恕老夫提醒一句。”祁寯藻不动声色的说道：“吴健彰确实只是一个四品道台不假，但他还是主持征收关税的上海海关监督，户部给上海海关裁定的关税征收数额是四万两千两，但吴健彰去年却为朝廷征收了三十三万多两银子的关税，数额位列五大海关之首，超过朝廷要求征收数额的八倍还多，户部因此专门下文嘉奖。似这般征税得力的官员，仅凭一道具报和一道凭空猜测的奏折就把他直接革职拿下，是否有些过于操切？”
穆荫语塞，咸丰也有些动摇——现在的大清朝廷为了平定长毛乱匪，事事处处都要用钱用银子，军费开支十分惊人，海关这个越来越重要的财源确实不能有什么闪失。而铁了心想靠排外反洋讨好咸丰的穆荫眼珠子一转后，又说道：