杨素自己武将出身，并不懂土木宫殿的营建，而他的侄女婿封伦擅长土木工程，又是杨素的自家亲戚，这种事当然找他来帮忙，可想不到杨坚虽然下旨建筑这仁寿宫，其所在却是在高山深谷之间，施工难度极大，非十年以上不能建成。
独孤皇后久居宫中，哪知这日晒雨淋，削山平谷的不易？她只知道杨素领了朝廷所拨的巨款，结果一年下来却连个地基也没打好。
从第二年开始，她便几次三番地召杨素入宫询问工程进度，甚至还说听到有人进言说杨素贪墨了工程款，才导致进展缓慢。
杨素一生树敌无数，眼热他这位置的人也不知凡几，几十年来在官场上一直遭遇着明枪暗箭，只是这一次，是皇后对他的信任出了问题，怪他办事不力。而且就在此时，由于酷暑，役夫中疫病横行，更有不少役夫趁机逃亡。
杨素最后实在没有办法，只能将一些病死的尸体焚烧以阻止疫情的传播，后来封伦又说尸体可以用来填平山谷，上面堆上土石，这样一举三得，既处理了尸体，又平了山谷加快了进度，还能吓阻那些不知情的役夫，使其不敢再逃亡，拼命施工。
最后用了这种办法，仁寿宫在两年多一点的时间就峻工了，靠得富丽堂皇，可这雄伟的宫殿的背后，是上万役夫的累累白骨。
事后杨坚派了高熲去验收，他一看在两年内这宫殿就盖得如此奢华，心知必是杨素滥用民力所致，又查清了杨素赶工埋尸的事情，回去后就如实禀告给杨坚。
杨坚有了个先入为主的坏印象，第二天便亲自视察，发现确如高熲所言，当时就龙颜大怒，大骂杨素害他结怨天下，甚至气得当场一脚把一块大石头踢下了山谷。伤到了脚趾还不自知。这次杨坚是动了真怒，甚至比那次杨坚戏言要当皇帝被他听到后还要生气。
杨素当时给吓得五内俱焚，心知触怒天颜，必会祸及全族，都准备一死以谢天下。亏得封伦给他出了个主意，说皇上虽怒，但皇后却一定会满意，让杨素连夜求见皇后，请她向皇上求情。
结果独孤皇后连夜吹了枕头风，好不容易做通了杨坚的工作。在第二天的朝会上还跟着杨坚一起上殿。提到此事时主动说杨素看他夫妻二人年老。不辞辛劳亲自为他们盖了一座宫殿以安度晚年，忠心可嘉，总算是把这事给应付了过去。
王华强听完这件事后，长出一口气：“幸亏独孤皇后力挺了越国公。不然皇上龙颜震怒，可是翻脸不认人的啊，前两年尚书右仆射苏威被免官的时候，谁又能想得到皇上是说免就免呢。”
王华强说的是两年前相位的更迭，作为尚书右仆射的苏威，随着官职的提高，野心和胃口也变得越来越大，虽然他没有蠢到直接挑战作为帝国首辅的高熲，但开始利用自己尚书右仆射。负责官员的提拔与考核的权限，开始大肆结党营私，在朝中遍布自己的门生党羽。
苏威给自己一个人就身兼了五个要职，而给自己的儿子苏夔也加了一个国子家博士的职务，开皇十二年的时候。朝廷上讨论礼乐之事，苏夔的上司，资深国子监博士何妥与苏夔意见相左，苏夔在国子监内侃侃而谈，弄得何妥下不来台，最后气得要礼部的官员们表态，究竟是谁说得有理。
很自然，一个学术问题变成了官场上的站队问题，何妥虽然是学富五车的资深老学究了(他居然还是个西域胡人)，但由于一直以来无权无势，因为那些礼部官员们全都一边倒地说苏夔有理，气得何妥几乎当场晕倒，大骂说自己七十年的经历，居然还不如一个三十岁小子。
何妥回去后越想越气，公知范儿大暴发，干脆上书杨坚，说苏威结党营私，而被他举荐和提拔过的人就趋炎附势，他奏劾苏威与礼部尚书卢恺、吏部侍郎薛道衡、尚书右丞王弘、考功侍郎李同和等人结为朋党，台省中都喊王弘为太子，称李同和为叔父，说二人就像苏威家的子弟。
杨坚也没料到苏威玩得这么过火，下令彻查，结果不仅何妥举报的事情件件属实，还查出苏威靠不正当的手段任用他的叔父的儿子，也就是自己的堂弟苏彻、苏肃等为官。另外，国子学聘请黎阳人王孝逸为书学博士，苏威却让卢恺将王孝逸安排到他的尚书府任参军。
案件真相大白后，杨坚在大朝会上要苏威当众背诵<<南史>>中的<谢晦传>，谢晦是刘宋时的托孤大臣，也是著名的结党营私，最后发动叛乱的祸国奸臣，苏威在背诵这段时汗如雨下，几乎晕倒，杨坚在朝上当着百官的面免去了苏威的官职，回家闲居，而杨素则接替了他的尚书右仆射的职务，成了帝国副相。
皇甫偲笑道：“对了，我这里有个小道消息，应该八九不离十，苏威可能要复出了。”
王頍“咦”了一声：“此话当真？”
韩世谔点了点头：“这个事情我也听说了，皇上最近又有些怀念起苏威来了，听说准备再次把他召入朝中，接任杨素留下的纳言一职，这么一来，等于杨素和苏威两大重臣掉了个个儿。朝中将暂时形成高熲主宰朝政，杨素位居第二，苏威忝陪末座的新态势。”
王华强