但是，東南沿海一帶的倭寇日益囂張。
嘉靖三十三年（公元1554年）正月，倭寇掠搶蘇州、松江；二月，倭寇攻松江，縣丞劉東陽戰死；三月，倭寇又掠蘇州、松江，入侵浙江寧波；四月，犯嘉興，陷嘉善。總之，一年之內，倭患竟達十餘次，僅浙江軍民被倭寇殘害的就達二十餘萬人，東南沿海告急。
東南沿海特別是浙江、蘇州、松江乃朝廷稅賦重地，東南沿海如果不保，朝廷財賦就受到威脅，這可是當務之急呀。嘉靖坐不住了，他知道嚴嵩拿不出什麼計策，便召來徐階問計：“倭賊蹂躪東南沿海，愛卿家鄉也深受其害，朕知卿曉暢軍事，是剿是和，計將安出？”
徐階在縣學讀書時就親聞家鄉父老遭倭寇劫掠的慘狀，自然痛恨之極，當下就說：“回陛下，東南諸郡乃國家財賦命脈所在，今蕞爾小丑竟成大患，危及國用。臣以爲只有堅決征剿一法，姑息不得，更不可以安撫爲名，縱其擄掠！”
徐階對嘉靖的回話，語中留有伏筆，這伏筆就是殺機，自然是針對嚴嵩的。徐階與嚴嵩並無個人私仇，但他強烈地感覺到，只要嚴嵩仍在首輔職位，這大明江山就無寧日。細觀嚴嵩入閣以後，除了寫青詞，諂諛，撈取錢財，重用佞臣，陷害正人君子之外，於國家經濟、軍事，既無積極建言，又無尺寸之功，反倒是幾次誤國。俺答兵臨北京，嚴嵩阻止出戰；俺答飽掠撤兵，嚴嵩又阻追擊，誤國之罪，不可謂不大。對待東南沿海的倭寇，嚴嵩也毫無良策，相反，倒是從中干擾，致將帥被殺，尤爲嚴重的是，他還重用義子趙文華，主張安撫，致倭賊更加猖獗。徐階不想置嚴嵩於死地，卻不得不努力把他拉下馬來，免得他禍國殃民。而“不可以安撫爲名，縱其擄掠”這句話，就是日後拉嚴嵩下馬的伏筆。
倭寇從太祖洪武初就入擾中國，因當時明軍強大善戰，未釀成大禍。嗣後歷代，倭患不息。嘉靖三十一年（公元1552年）時，剿倭重臣其一爲右副都御史王忬巡撫福建，王忬重用參將俞大猷、湯克寬，屢建奇功；另一剿倭重臣乃南京兵部尚書張經，總督浙江福建及江南軍務，也時有勝績。可自從嚴嵩義子時任工部侍郎的趙文華插手，剿倭大局，就分崩離析了。
趙文華向嘉靖提議的剿倭大計說來可笑，竟是“禱祀東海之神鎮之”。實在是把剿倭大計當兒戲，簡直是見鬼了。但這見鬼的胡搞，竟深得一生中都在弄鬼的嘉靖的嘉許。嚴嵩大喜，便票擬讓趙文華往江南祭東海，更兼“督察沿海軍務”，於是，趙文華以欽差名義來到江南。在大發利市的同時，趙文華傾軋官吏，官民被擾，江南就此益無寧日。
趙文華奉旨祭海，又督察沿海軍務，上頭有嚴嵩罩着，一路上擺譜顯威，做張做智，江南地方官員，想巴結嚴嵩的，無不千里迎送，大擺宴席，燈紅酒綠，昏天黑地，然後一箱一箱的財物，扛上堂來。到一地，玩一地；走一路，卷一票，張狂得可以。凡不想巴結嚴嵩的，也不敢怠慢，只得忍氣恭迎，設席言歡，最後，也不得不送上厚禮。敢頂的江南官員鳳毛麟角，可見官場風氣之一斑。
欺凌百官，公私告擾，還不算大害，他那大害卻是不懂軍事，偏要瞎指揮，就像他的義父害死御邊大將曾銑一樣，害死了一個總督沿海軍務的張經。