李义府闻言，竟勃然变色，腮颈俱起，徐曰：“谁向陛下道此？”
高宗答：“但我言如是，何须问我所从得耶！”
李义府睆然，殊不引咎，缓步而去，高宗非但不罪，亦优容之。
贞观年间，太宗皇帝曾命吏部尚书高士廉、御史大夫韦挺、中书侍郎岑文本、礼部侍郎令狐德棻等及四方士大夫谙练门阀者修《氏族志》，勒成百卷，升降去取，时称允当，颁下诸州，藏为永式。
李义府耻其家代无名，乃奏改此书，专委礼部郎中孔志约、著作郎杨仁卿、太子洗马史玄道、太常丞吕才重修。孔志约等遂立格云：“皇朝得五品官者，皆升士流。”
于是兵卒以军功致五品者，尽入书限，更名为《姓氏录》。由是搢绅士大夫多耻被甄叙，皆号此书为“勋格”。李义府仍奏请高宗收天下《氏族志》本焚之。
关东魏、齐旧姓，虽皆沦替，犹相矜尚，自为婚姻。李义府为子求婚不得，乃奏陇西李等七家，不得相与为婚。
又有阴阳占候人杜元纪为义府望气，云“所居宅有狱气，发积钱二千万乃可厌胜。”李义府信之，聚敛更急切。
李义府遣其子，召长孙无忌之孙长孙延，谓曰：“相为得一官，数日诏书当出。”
居五日，果授长孙延司津监，乃取延长孙钱七百贯。于是右金吾仓曹参军杨行颖表言李义府罪状，制下司刑太常伯刘祥道与侍御详刑对推其事，仍令司空李世绩监焉。按皆有实，乃下制曰：“右相河间郡公李义府，泄禁中之语，鬻宠授之朝恩；交占候之人，轻朔望之哀礼。蓄邪黩货，实玷衣冠；稔恶嫉贤，载亏政道。特以任使多年，未忍便加重罚，宜从遐弃，以肃朝伦。可除名长流巂州。其子太子右司议郎津，专恃权门，罕怀忌惮，奸.淫是务，贿赂无厌，交游非所，潜报机密，亦宜明罚，屏迹荒裔。可除名长流振州。”
李义府家人皆凭恃受赃，并除名长流延州，朝野莫不称庆。
李义府先多取人奴婢，及败，一时奔散，各归其家。《露布》称“混奴婢而乱放，各识家而竞入”者，谓此也。
乾封元年，大赦，长流人不许还，李义府忧愤发疾卒，年五十余。自义府流放后，朝士常忧惧，恐其复来，及闻其死，于是始安，可见李义府之恶。
李义府虽负才名，然其人贪鄙成性，一朝得势，便肆无忌惮，如今历史虽然发生了改变，李义府尚且未登上显位，可一朝得幸于皇后，便原形毕露。
试想贞观名臣马周，与李义府同样出身寒门，可为人清正，深为太宗倚重，及其亡故，太宗亦为之恸哭，可如今李义府被判凌迟酷刑，居然无一人代为求情，也成为可叹。
李义府被带了出去，李承乾接着一挥手道：“将高季辅，吴辰，及一应考官尽皆缉拿，押赴大理寺，所有人等官爵一律除去，永不续用，待查明所犯，依律治罪！”
高季辅闻言，大为惶恐，连忙分辨道：“圣上！臣委实无过，李义府所犯罪责，臣尽皆不知，圣上如何能单凭猜测便治臣之罪！”
李承乾冷哼道：“高季辅！你说你无罪，然你身为此次科考的主考官，见事不明，善恶不分，长安城因李义府父子贪贿卖榜之事，闹得满城风雨，你身为主考，居然不闻不问，朕要你这等昏聩之人又有何用，纵使你未与李义府同流合污，然失察之罪，你也是罪责难逃！来人啊！通通带下去！”
高季辅被李义府一通指责，也是哑口无言，他不过是知道李义府得幸于皇后武京娘，李承乾貌似又对其颇为倚重，知道让李义府这个不入流的小官担任同考，就是为了让其有过功绩，这才将科举一概事情都交给了李义府，谁知道居然闹得如此，半世的英明毁于一旦，如今便是后悔也晚了。
高季辅，德州蓚县人，祖父高表是东魏安德太守，父亲高衡是隋朝万年县令，哥哥高元道是汲县令。高季辅年少时就学习文学和武艺，为母服丧时以孝闻名。武德元年，汲县人造反，高元道被杀。高季辅带领兄长的部下，手刃凶手，斩首以祭其兄之墓。之后参加农民起义，不久与李密部下李育德一起投降了大唐。高祖授高季辅为陟州总管府户曹参军。
太宗继位后，授高季辅为监察御史，弹劾有错误的大臣，不畏权贵。之后转任中书舍人，贞观八年，太宗召近臣，令评价时政得失。
高季辅上封事五条，建议：提升、重用正直诚实清廉的官员。减少对人民的征募徭役。控制公主王公的奢侈之风。提高地方官员的薪俸待遇。提高皇弟作为长辈在皇子面前的威严。太宗看后，深以为然。
贞观十七年，授高季辅为太子右庶子。高季辅又上疏切谏时政得失，太宗特赐钟乳一剂：“进药石之言，故以药石相报。”
贞观十八年，加银青光禄大夫，兼吏部侍郎，负责选举官员。赐高季辅金背镜一面，以表彰他的清鉴。
贞观二十二年，高季辅迁任中书侍郎，兼检校吏部尚书、监修国史，赐爵蓚县公。
李承乾继位后，高季辅迁任礼部尚书，兼太子少保。