嚴嵩的智慧，表現在能揣摩嘉靖的心思；嚴世蕃的高明，在於善解嘉靖的啞謎，父子協同，一直把嘉靖侍候得極其舒服。
可是從嘉靖四十年（公元1561年）始，嘉靖漸漸不滿意了，而且越來越不滿意。
這大丞相、小丞相作惡多端，賣官鬻爵，貪贓枉法，不用說朝廷官員，就是嘉靖的兒子，他也敢欺。裕王府每年費用，嚴嵩囑戶部扣住不發。裕王府財政困窘，實在無法，裕王只得向嚴府行賄五百金，這才發給。嚴世蕃曾大言不慚：“天子的兒子也得向我行賄，誰敢不向我送錢？”
貪幾個錢，嘉靖不在乎。所以凡有彈劾，都不放在心上，始終護着嚴嵩。因爲嚴嵩的主要精力，是贊玄修，幫助嘉靖齋天，追求長生不老，這是嘉靖的最愛。
但是狂傲不允許。夏言傲，嘉靖就不喜。
不孝不允許。聖朝以孝治天下。
縱淫不許，天下美女應供我嘉靖**，旁人不許。
嚴嵩、嚴世蕃開始走下坡路了。
嚴嵩寫的青詞越來越差。因爲內監催要，嚴世蕃又紙醉金迷，常昏昏大睡，嚴嵩只得親自操刀，耄耋之年，精力不濟，無法使嘉靖滿意了。啞謎般的手諭，也因找不見嚴世蕃，嚴嵩只能拖着，嘉靖焦躁不滿了。
在這種情況下，嘉靖又增添了一位內閣成員戶部尚書袁煒。此人是徐階的門生，善寫青詞。從嘉靖四十年（公元1561年）始，內閣由嚴嵩、徐階、袁煒組成。
嘉靖四十年（公元1561年）十一月，嘉靖所居西苑永壽宮一把火燒了個精光。內宮不敢住，永壽宮又被毀，嘉靖只得暫住玉熙宮。玉熙宮又窄又小如何住得？工部尚書雷禮上奏請重建永壽宮，嘉靖找來嚴嵩、徐階商議此事。
“公卿大臣皆請朕還居大內，雷愛卿建言重建永壽宮，你們認爲如何是好？”嘉靖臉色陰沉，還居大內令他想起宮婢楊金英等弒君之事，能有好心情嗎？徐階不開口，等首輔先說。這一次，嚴嵩昏了頭了。他說：“回陛下，臣以爲，皇上可遷居南城。”嘉靖心頭小鹿一撞，心裡罵“該死”，臉色愈發的難看了。
徐階察言觀色，知道嘉靖真的動怒了。爲什麼一聽南城，嘉靖就不舒服呢？這裡頭有個掌故。因爲南城是英宗退位軟禁之地。明英宗正統十四年（公元1449年）七月，西部邊境蒙古族瓦剌部也先犯邊。明英宗在庸臣王振的唆使下御駕親征，王振庸劣之才，一意孤行，致明軍在土木堡大敗，明英宗也成了俘虜。也先以明英宗爲“奇貨”，要挾大明，明朝採取對策，擁立明英宗之弟郕王監國。第二年，郕王登上皇位，定年號景泰。嗣後明英宗迴歸，就被景泰帝安置在南城。
嘉靖信奉道教，熱衷於齋醮，迷信祥瑞，所以嚴嵩南城之說，犯了嘉靖的大忌。
“徐愛卿可有話說？”見嘉靖問到自己，徐階犯難了。南城之議固然不妥，但從常理來說，理應勸嘉靖還居大內乾清宮，這是正經。皇帝不居乾清宮而居西苑，名不正言不順，九卿的請求正合徐階的心意，但嘉靖肯定不會接受。那就只有一個辦法，重修永壽宮。想好之後，徐階道：“臣以爲應亟治永壽宮。“”回陛下，不用徵集”大木、石材，急切難辦。“
建材，眼下工部正重修三大殿，徵得木材綽綽有餘，利用現成材料，不消數月，必能大功告成。”嘉靖聞言，臉色由陰轉晴，露出了笑容。永壽宮是他齋醮，與上天神仙溝通之地，嘉靖與它已有了感情，如能重修並近期完成，正是他最好的選擇。當下採納徐階的建議，命工部選個黃道吉日即刻動工，同時又命徐階之子徐璠爲工部主事，負責督工。