兩大海盜集團大部分被殲，東南沿海安定下來。天天紙醉金迷的趙文華身價倍增，晉升少保，榮耀回朝；胡宗憲提爲右都御史。這是嘉靖三十五年（公元1556年）十一月的事。
九個月後，春風得意的趙文華被罷官了，革職爲民。趙文華氣急敗壞，躺在歸舟中，以手捫腹，居然腹部迸裂，臟腑彈出而死。
嘉靖想罷黜趙文華由來已久。還在趙文華任工部尚書時，受命建造西苑新閣，久拖不成，嘉靖不樂。一日，嘉靖登高遠眺，見西長安街上聳起高樓，便問左右：“這是誰家宅第？”左右回答說：“尚書趙文華新建的府第。”另一太監從旁補了一句：“工部的大木，有一半用來造他的新宅了。他哪有工夫營造西苑新閣。”於是，嘉靖多留了一顆心。
嘉靖三十六年（公元1557年）八月，雷擊奉天殿，引燃奉天、華蓋、謹身三殿，需要重建。趙文華又說不能急着重建，嘉靖更加不悅。
近又聽得趙文華督師江南，索取大量賄賂，貪天之功爲己有，嘉靖就愈發的惱怒。他召來嚴嵩，問道：“着趙文華重建三大殿，何以進展緩慢？”此時嚴嵩已是高齡七十有七，思維遲鈍了。嚴嵩急切間惶恐無計，便回答說：“文華冒暑南方督師，中暑未愈，請陛下加派侍郎一員協助趙文華。”滿以爲說趙文華冒暑督師，勤於王事而中暑可博取嘉靖的歡心。誰知嘉靖不予理會，只是說：“大工程剛動工，趙文華不該稱病自便。”拒絕了嚴嵩的請求。嚴嵩覺得自己的話嘉靖不像以前那樣愛聽了，加上中暑之說又是嚴嵩的杜撰，恐怕露了馬腳，趕忙告知趙文華上奏本，稟明中暑未愈，請求寬限工期。
令嚴嵩和趙文華不曾想到的是，嘉靖未讓嚴嵩票擬，親自批覆趙文華的奏章，讓趙文華“回籍休養”。嚴嵩、趙文華一時傻了眼，趙文華只得捲鋪蓋回鄉。
趙文華罷官，嘉靖希望言官們彈劾趙文華，然後再加以嚴懲，誰知嘉靖的期望落空了。趙文華是嚴嵩的義子，以前凡彈劾嚴嵩的言官都沒有好下場，吏部尚書李默不理趙文華的茬，不是被害死了嗎？不是你嘉靖批的嗎？誰還來多事，反正天下是你嘉靖的天下，肉爛在肉鍋裡，不管了。
說來也怪，過去埋怨言官多事，橫看不順眼，豎看不順眼。今次言官不吭聲了，嘉靖也覺得不順眼，就大發雷霆，趙文華貪黷貪功，言官們爲什麼不敢彈劾？嘉靖把一批言官杖責以後，都革職爲民。
文華之子、錦衣衛千戶趙懌思，在嘉靖因三大殿火災齋醮五天，各部奏章不得上奏的期限裡，上奏本請假送父回鄉。這不是明知故犯嗎？嘉靖怒不可遏說：“趙文華齋醮期內稱病，趙懌思停封章期間上書，不敬之罪大矣！”便將趙文華革職爲民，趙懌思充軍邊衛。