是别人代写，这些多不称世宗的心意，遂对严嵩渐渐心生不满，后来又听说严世蕃贪虐淫纵，对其父子更感厌恶。
这时，严嵩可谓是祸不单行，自己不得皇帝的欢心不说，还与时任次辅的徐阶发生了渐趋白热化的斗争。徐阶是一个聪明而又有权略的人，他感觉到世宗对严嵩态度的微妙转变，就买通了世宗很信任的一个名叫蓝道行的道士。蓝道行在扶乩的时候，显现出“分宜父子，奸险弄权”的字样，世宗问：“上天为何不诛杀他呢?”蓝道行诡称：“留待皇帝正法。”世宗心有所动。就在这一年，皇帝居住的万寿宫发生一场大火，皇帝不知以后怎么办，向大臣询问，严嵩竟建议皇帝搬到南宫去住。南宫是旧时英宗被幽锢之所，这对喜欢祥瑞的世宗来讲，真是犯了大忌讳。徐阶迎合皇帝心意，主张重建万寿宫，没多久，新宫拔地而起，比先前更巍峨漂亮。这样，徐阶在世宗心目中的地位渐有取代严嵩之势。这件事成了严嵩晚年命运的转折点。
严嵩失宠，御史邹应龙闻风而动，上疏弹劾严嵩。嘉靖四十一年(1562)，在徐阶的怂恿下，皇帝夺去严嵩一切官职，勒令回乡，严世蕃谪戍雷州卫。严世蕃在谪戍雷州中途跑回江西老家，本性难移，继续作恶多端。嘉靖四十三年(1564)，他又被御史弹劾。世宗大怒，将严世蕃逮捕下狱。第二年案结，世蕃被斩，严嵩被削籍为民，家产尽抄。严嵩只得在祖坟旁搭一茅屋，寄食其中，晚景非常凄凉。嘉靖四十五年(1566)四月，一代奸臣严嵩就这样，在孤独和贫病交加中去世。
&nnsp;