眼看手中兵权渐无，霍氏一门都觉惊恐，满心怨尤。特别是霍显得知自己毒害许皇后的事情己经败露后，更是惊恐万状。家宴之时，反复死催霍家男人赶紧谋反。

其中，霍云的舅舅李竟出个馊主意：让上官皇太后出面，诏召魏相和许皇后父亲许广汉赴宴。他们到后，霍光两个女婿立即在席间杀掉二人。而后，接着入宫杀掉皇帝，立霍禹为帝。

这事儿还没实施，就被人告发了。即使到了如此地步，宣帝依旧隐忍不发。

不久，李竟交通诸侯王事发，被逮之后，他把霍氏家族谋反的事情就全招了。

此时，宣帝布置都基本就绪，开始收网！

大案已成，霍云、霍山、范明友先行自杀；朝廷逮捕了霍显、霍显禹、邓广汉等人，廷尉审讯后，霍禹要斩，霍显及诸女昆弟皆砍头弃市；与霍氏相连坐的姻亲故旧，诛灭者数十家。

将霍氏家族全部诛灭之后，八月，宣帝派人向霍皇后颁令：“皇后荧惑失道，怀不德，挟毒与母博陆宣成侯夫人显谋欲危太子，无人母之恩，不宜奉宗庙衣服，不可以承天命。呜呼伤哉！其退避宫，上玺绶有司。”

如此，时年23岁的霍成君，不得不结束5年皇后生涯，搬进冷宫昭台宫。12年后，不知宣帝如何又想起了这位霍氏后人，可能觉得让她住昭台宫软禁还是太便宜，复下令让她再搬到云林馆监禁。至此，这位霍氏前皇后终于发觉全无生趣，只得上吊自杀……

霍氏一门，入宫从霍光同父异母兄霍去病算起，在西汉政坛闪耀达60年之久。殊功伟业，名动天地。但一朝败亡，恰似土崩瓦解，家族顿时烟消云散！

为此，大历史学家班固感慨，司马光也感慨。

班固感慨说：霍光受襁褓之托，任汉室之寄，匡国家，安社稷，拥昭，立宣，虽周公、阿衡何以加此！然光不学亡术，闇于大理；阴妻邪谋，立女为后，湛溺盈溢之欲，以增颠覆之祸，死财（才）三年，宗族诛夷，哀哉！知

在肯定霍光莫大功劳的同时，班固认为霍光不学无术，不识大体，最后家族败于妻女之手。

而司马光呢，语深意切，说得更中肯：

霍光之辅汉室，可谓忠矣；然卒不能庇其宗，何也？夫威福者，人君之器也。人臣执之，久而不归，鲜不及矣。以孝昭之明，十四而知上官桀之诈，固可以亲政矣，况孝宣十九即位，聪明刚毅，知民疾苦，而光久专大柄，不知避去，多置亲党，充塞朝廷，使人主蓄愤于上，吏民积怨于下，切齿侧目，待时而发，其得免于身幸矣，况子孙以骄侈趣之哉！

虽然，向使孝宣专以禄秩赏赐富其子孙，使之食大县，奉朝请，亦足以报盛德矣；乃复任之以政，授之以兵，及事丛衅积，更加裁夺，遂至怨惧以生邪谋，岂徒霍氏之自祸哉？亦孝宣酝酿以成之也。

昔斗椒作乱于楚，庄王灭其族而赦箴尹克黄，以为子文无后，何以劝善。夫以显、禹、云、山之罪，虽应夷灭，而光之忠勋不可不祀；遂使家无噍类，孝宣亦少恩哉！

司马光一席感叹，大意是说，霍光辅佐汉朝，可谓忠心无私，但他最后却不能保全家族，为什么呢？因为，作威作福，乃国君独有的权力，大臣掌管权力而又长期不还政的，很少不遭大祸。昭帝14岁就能察觉上官桀的奸诈，当时其实可以亲政了；何况宣帝继位都19岁了，聪明刚毅，了解民间疾苦，完全可以即时亲政。但霍光长期专权而不避让，安排亲党充塞朝廷，在上使国君愤怒，在下使大臣百姓怨恨.举国上下，切齿痛恨，侧目而视，待势而发。为此，霍光本人死前免遭清算，就非常不错了。而他子孙不知收敛，反而变本加厉，怎能不垮台呢？

不过，司马光认定汉宣帝本人也有错，如果他在霍光死后只给霍氏家族以丰厚的利禄，让那些人做些虚官，也足可报答霍光拥立大德了。但宣帝却故意委任霍氏族人以重任，授以兵权，等到怨恨矛盾越来越多，便施以强制性的权力裁夺，如此，肯定招致霍氏族人怨恨而生谋反邪念。如此后果，不单单是霍氏家族自己招罪，也是宣帝故意酝酿而成。

从前楚国斗椒作乱，楚庄王诛杀其族而赦免当时官为“箴尹”的克黄，就是为了避免功臣子文无后的悲剧。虽然霍显、霍禹、霍云、霍山罪有应得应该诛杀，但也应该留下一个霍氏男丁承继霍光之祀，以褒奖霍光当初辅助汉室的忠勋。结果呢，霍氏被族诛，杀的干干净净，连一个吃饭活口都没留下。由此观之，汉宣帝这人，确实也挺寡恩无义的！