苏威此人骨子里贪恋权势，做事只看主上的喜怒哀乐，从不肯直言进谏，他看出二圣喜欢节俭，就进言减轻赋税和劳役，看到宫中的帷幔钩子用白银制成，就向杨坚进谏，陈说节俭的美德，让节俭得有些吝啬的杨坚夫妇大为高兴。
于是苏威就步步高升，除了原来的两个职位外，还同时担任了京兆尹（长安市长），大理卿（最高法院院长）和御史大夫（纪委书记），五个要职一肩挑，真可谓是在司法界大权独揽。
曾有御史上书弹劾，说苏威贪恋权位，身兼五职，压制后进，打压别人，不去举贤荐能，而杨坚当时正非常宠着苏威，公然为他辩护，此事也不了了之。
此后苏威又参与制订了隋朝的典制，律令多数是由他所制订，一时风光无二，于开皇九年晋为尚书右仆射，与高颎共同治理这个帝国。
后来苏威的权欲和野心迅速地膨胀，大肆举荐自己的亲朋好友，兄弟子侄占据朝堂，渐渐地引起了杨坚的不满。
终于在开皇十二年的时候国子监博士何妥举报苏威结党营私，杨坚派蜀王杨秀与上柱国虞庆则去调查，情况属实，杨坚便顺势免了他的尚书右仆射之职，改由杨素继任。
人的心理就是如此，从无所不有到一无所有，这种痛苦超过了从来没有。
苏威从帝国的三号人物一下子变成了平民百姓，他没有反省自己的过失与不足，却是满腔的怒火与委屈无从发泄，仇恨值高到暴表，在他的仇人榜上排第一的就是那个国子监博士何妥，第二位的就是顶了他位子的越国公杨素。
正好杨素也不是个心胸非常宽广的人，一般不记仇，有仇直接报，当年杨素在家里跟老婆开玩笑给撸成老百姓，丢的那个官职就是御史大夫，也正好是被苏威身兼五职时给捡了去。
于是两个人就是针尖对麦芒，彻底杠上了，一有机会就会在杨坚的面前说对方的坏话。
这几年杨素南征北战，出将入相，又造了仁寿宫，大大地拍了皇帝皇后的马屁，恩宠之高，圣眷之隆，一时风光无二，甚至隐隐有盖过被太子杨勇所牵连的高颎之势。
而苏威虽然靠着杨坚念旧情让他回来当了个正三品的纳言，但比起杨素来，自然是不可同日而语了。