严嵩（严世藩）八十余岁之时，老朽昏聩，他所作的票拟和奏章都已经前后逻辑不通顺了，这在皇帝心中种下了种子。后来又听说严世蕃贪虐淫纵，对其父子更感厌恶。后严嵩又得罪人徐阶，徐阶足智多谋利用一些手段让严嵩慢慢更加不得宠。后因皇帝的万寿宫一场大火，严嵩建议陛下搬到南宫，但南宫是幽锢之地，犯了陛下的忌讳。而徐阶建议重建万寿宫，迎合了陛下，陛下满心欢喜,而严嵩在皇帝的心中开始慢慢失宠,嘉靖四十一年在徐阶的怂恿下，严嵩被弹劾，罢免官职，勒令回乡。

众人一番商议后，给严世藩定了一个罪名“谋反”，这罪名一定，就开始落实“谋反”的各项证据了，通过各方渠道的收集，一些信息逐渐浮出水面，一是严世藩在老家请高人找了一块风水宝地，盖了一处宅邸，宅邸是相当豪华啊，关键是这块地了不得，有龙气，这不明摆着是妄图称帝吗？二是，严世藩的一个老部下是勾结倭寇的大汉奸汪直的亲戚，这不明摆着是要沟通倭寇吗？三是严世藩以前的一个老部下叫做牛信，这哥们在山海关当过差，最后北逃了，这绝对是企图“诱致外兵”啊？四是严世藩和当地恶势力团伙走的挺近，有一大帮打手啥的，这不明显是在组织私人武装，意图谋逆啊？

好了，罪名好歹落实了，上报朝廷，嘉靖四十四年，严世藩因谋逆罪名被斩首，同时家也被炒了，据说炒出了黄金三万余两，白银两百余万两，还有无数的珍宝——简直是富可敌国。而嘉靖皇帝还算是相对仁义，没有对严嵩下狠手，念起年老，没有法办，只是剥夺了其官职，严嵩此时已经85岁高龄，受此打击，精神顿时垮了，一时间傻傻呆呆，最后被活活饿死野外。咋说呢，因缘果报，天道召召，即便你一时呼风唤雨，鱼肉百姓，恶行累累，一世呢，老天最后饶过谁？

嘉靖四十五年（1566），87岁高龄的严嵩在老家去世，没有安葬的棺材也没有人前来吊唁，这个权倾大明的守辅如此黯然作为人生的结局，真是好不凄凉。

最根本的原因是明世宗已经对严嵩开始不满了。由于严嵩晚年，老朽昏聩，经常请人代笔，已不能准确的揣测圣意，导致皇上对他颇有微词。同时，当时严嵩和当时的次辅徐阶有矛盾，而徐阶又察觉到世宗对严嵩态度上的变化了，所以使用权谋使皇帝进一步讨厌严嵩，直至其失宠。严嵩失宠后，立即遭到当朝御史的弹劾，严嵩再出昏招，致使世宗大怒，严家被查抄。至此，严家父子彻底倒台了。