不知进退，甚至阴谋篡位，实在是不知所谓！”顿了顿，霍光继续说道，“至于我选出来的刘病已倒是的确没有辜负我的期待，治国有方，只是他竟然做的如此决绝，断绝了我氏族，甚至连坐诛灭者数千家，却是出乎我的预料。”
霍光病卒后，宣帝开始亲政。此时霍禹为右将军，霍山以奉车都尉领尚书事，霍氏一门仍十分显赫，广治第室，奢侈无度。
有人向宣帝上书，说霍光****擅权，主弱臣强，现在其子孙用事，愈发骄恣，长此下去，恐危宗庙，建议宣帝采取措施。由于当时凡吏民上书皆先通过尚书，所以都被霍山扣押下来。
为削夺霍氏权力，宣帝采取了一系列措施：首先，亲自处理朝政，五日一听事，并下令凡吏民奏事不通过尚书，直接向皇帝报告。其次，封太子的外祖父许广汉为平恩侯，许广汉的两个弟弟，一封为博望侯，一封为乐成侯；又令与霍氏有隙的御史大夫魏相给事中。最后，将霍氏家族调离实权位置，如迁霍禹为大司马，无印绶，罢其右将军屯兵官署；将霍光长女婿邓广汉由长乐卫尉调任少府；女婿、度辽将军、未央卫尉范明友调任光禄勋，不久后，又收其度辽将军印；次女婿、诸吏中郎将、羽林监任胜调出京城，任安定太守；霍光姊之女婿张朔由给事中、光禄大夫调任蜀郡太守；收中女婿赵平骑都尉印绶，调任散骑都尉、光禄大夫，赴外地屯兵；孙婿、中郎将王汉调任武威太守。霍氏家族诸将从前统领的胡越骑、羽林及两宫卫将屯兵，全部改由宣帝亲信的许、史两家子弟统领。
霍氏不甘心权势被削，遂密谋借机杀平恩侯许广汉和丞相等人，再以太后名义下诏废掉宣帝而立霍禹。阴谋败露，霍云、霍山自杀，霍禹等人皆腰斩、弃市，霍皇后被废处昭台宫。与霍氏相连坐诛灭者数千家。
宣帝虽然诛灭了霍氏，但在施政方针上与霍光并无分歧，基本上延续了昭帝时期轻徭薄赋、与民休息的统治政策，并多次减免全国或部分地区的租赋。宣帝还继承昭帝遗法，把都城和各郡国的苑囿、公田借给农民耕种，降低盐价。在政治上，宣帝还很重视官吏的选拔，注意平理刑狱，甚至还在未央宫宣室殿亲自审理重大刑狱。宣帝的这些政治、经济措施，使武帝末年以来的社会矛盾继续得到缓和，农业生产开始上升。据史书记载，当时的谷价下降到每石五钱，边远的金城、湟中地区，每石也不过八钱，这是西汉以来最低的谷价记录。
昭帝和宣帝实行的一系列政治、经济措施，使武帝末年的社会矛盾得到了一定程度上的缓解，西汉王朝上又出现了几十年的兴盛景象，历史上习惯称这一时期为昭宣中兴。
所以霍光会说自己没看错人，废掉了荒淫无度的绔子弟刘贺而拥立刘病已可谓是对大汉国运有着巨大的作用。
当年刘贺本是纨绔子弟，荒淫无度。汉武帝死时，他竟于服丧期间四处游猎，虽有属下苦谏不止，他仍放纵自若。昭帝死后，霍光等大臣以太后的名义派车迎接他入京登基，他喜不自胜。在进京途中，就派人掠取民间女子、财产，并让其属吏。家人都穿上刺史的官服，封官进爵，任其胡作非为。
看到这种情况，霍光等众大臣都感到事态严重，如果不及早处置，将会使汉家天下断送到刘贺的手里。于是在刘贺即位的第27日，霍光将所有在朝大臣、列侯、博士等召集到未央宫，举行会议，当众宣布了要废掉刘贺，另选贤明的意图。与会大臣、博士等人一听这个消息，都感到意外，因为废立之事，关系重大，谁也不敢发言。
田延年看到这种情况，立刻站起来发言，假意斥责霍光，说汉武帝把汉家天下寄托给霍光，就因为霍光忠诚于汉室，能使汉朝长治久安。现在如果继续维持刘贺的帝位，那汉家天下就会断送，你霍光将来死了，又有何面目去见汉武帝呢！他手握剑柄，严词厉色，声称如有人敢反对废除刘贺他就将其就地斩杀。与会者见此情景，都同意由霍光主持，废除刘贺，另选贤明之主。
于是，霍光联合杜延年、杨敞等人，十分慎重地写了一封奏章，列举了刘贺的种种劣迹，上奏当时主持汉室的十五岁的上官太后，并将刘贺召至未央宫承明殿，宣读了这封奏章，即日将刘贺废掉，并将其所属官吏统统收捕，随后又将刘贺发送回昌邑。而后，又将长期生活于民间的汉武帝与卫子夫的曾孙、戾太子之孙，十八岁的刘病已立为皇帝，这就是汉宣帝。
确立新主是当时安定全国的需要，然而要确立一个什么样的皇帝，则又是关系到汉朝能否长治久安的问题。霍光既考虑到前者，更考虑后者。所以他宁愿担负所谓擅自废立的恶名，也不愿使汉家王朝倾覆。这表明他对汉室的忠诚，也是对国家的高度负责。事实证明，霍光选择了汉宣帝，才使得汉朝保持了兴旺的局面。
可以说站在霍光自己的角度来说，可谓是尽忠职守，用诸葛亮那句鞠躬尽瘁死而后已来评价也不为过。
只是一方面行废立之事，一方面家族子弟‘不孝’，导致日后的恶名，却是无需多言。
但是另一方面，世人也都不能逃脱家国天下这样的