一级的事情，是嘉靖二十九年的庚戌之变，俺答汗出兵侵犯掠夺中原一带，京都告急。李默奉命守正阳门，他率兵五千，发动百姓，军民合力昼夜巡视，防卫甚为周备，俺答汗见无机可乘，便退兵而去。伺候不久，李默便被升为吏部尚书，与严嵩分庭抗礼。 但做官绝不可能顺风顺水，特别是李默还不依附严嵩，京察时候，严嵩想要给他递纸条，说自己有哪些人可以升任，哪些人有问题需要包庇，李默都全然不理，闭门不见，一下子黜落了数十个严党干吏，让严嵩怀恨在心。 今年年秋，在辽东巡抚的人选问题上，仇鸾托李默推荐己亲被拒绝，他推荐张臬为辽东巡抚，于是严嵩、仇鸾相勾结，以谗言诬奏李默“偏执用人”。皇帝宠信严嵩，遂罢李默官职。 但这样也就罢了，因为不阿附严党而被罢官，在士林看来是光荣的事情。然而严嵩岂肯善罢甘休，他一面说老天官没有功劳也有苦劳，一面派人暗示李默，皇帝可能有挽留他的意思。于是李默上书，请求出外做学政——皇帝一看他不知进退，更加恼怒，专门让他做了浙江省的左参政，这就存了羞辱的意思，因为国朝就没有吏部尚书再降级去做参政的，这不是官儿越做越回去的问题，而是李默他恋栈官位，不肯离去的事情了，顿时他的好名声就没了。 但李默还不能求去了，他还得咬着牙齿来到浙江干下去。