誰知歸鄉幾天之後，徐階感到身體不適，尤其是肩頭、臂膀。請醫療治，那醫家說：“少師在京日久，已習慣京師乾燥氣候，今歸故里，我松江地氣溼潤，少師此症，乃系水土不調所至，恐怕得有一段時間才能適應。”
歸家月餘，徐階也風聞了一些家僕驕橫、子女縱容、橫行鄉里的事，東分東廳的管家徐成甚至連致仕的御史也敢謾罵，並被那御史誑去府中打了二十大板。查究下來，徐成得罪的竟是徐宗魯。
徐宗魯，號南湖，是嘉靖八年（公元1529年）的進士，官拜御史，正直敢言，因彈劾嚴嵩而獲罪歸鄉。
徐階請南湖到府一敘，想了解個究竟。誰知南湖不領情，推託身體欠佳拒絕了。
想了許久，徐階只得自己前往拜訪。
名刺遞上，徐宗魯恰好在家，躲避不過，只得出門迎接。
“宗魯老弟，朝廷一別，倏忽多年，今某致仕，特來告訪。”
“少師大駕光臨，有請，有請。”
兩人坐定，對望了許久。徐宗魯因是家居，未曾戴冠，頭髮稀疏雪白。徐階呢，扯下頭巾，也是一頭白髮，二人不免大笑。徐階說：“南湖兄人稱野徐，閒雲野鶴，悠閒自樂，怎麼頭髮也全白了？”徐宗魯笑說：“少湖兄不也一樣？可見古人‘世上公平最白髮，貴人頭上不曾饒’說得不錯！”“什麼貴人不貴人，南湖兄胡說些什麼。”“少湖有所不知，你在朝中位極人臣，我退居山野，這‘野徐’稱號，就由此而得，少湖兄不就是朝中‘貴徐’麼？”
品茶閒聊之時，徐階說：“聞說家奴驕橫，多有得罪之處，某今日前來，一則致歉，二則想了解個究竟。”
徐宗魯說：“這些陳穀子爛芝麻的事不提也罷。”
徐階說：“使不得，使不得。南湖老弟大人大量，說說何妨？”徐宗魯臉上一紅：“大量倒是沒有，你那悍僕，早被我教訓過了。”被逼不過，徐南湖只得講起了當年的故事。“五年之前，弟坐船赴嘉興，船經府西秀州塘，迎面突來一船。”說到這裡，南湖停了一下說，“秀州塘上九座石橋，不就是少湖兄所建的麼，兩舟相遇在斜塘橋下。只聽得對船上一人喝道：呔！你們眼瞎了麼？還不讓道！’弟船上的僕人自然‘不讓，起了衝突。兄家之僕名喚徐成，口出惡言。弟船僕人告知：‘那廝不得無禮，前御史在此！’不料遭來一頓羞辱，徐成不僅大言稱：‘前御史算什麼鳥！今御史也不怕，我家老爺還是當朝閣老呢！’說完，即命船伕用篙齊撐，將弟所乘之船，撐得橫在橋下……”
徐階邊聽邊惱，大叫：“如此強橫，氣死我也。”那徐南湖倒不惱，說：“弟當下不便斥責，後從嘉興回來，命人誑徐成來府，捉住打了二十大板，代兄教訓過了。”
一天，徐階去湖邊垂釣，遇一釣翁，晤談之間，知其名陳所恆，此人不知所遇即是徐階，眼看波光粼粼的河面，聊起徐閣老致仕之事。陳所恆說：“看來徐閣老此人對家鄉還是不錯，做了些善事。不過……”“不過什麼？”徐階提了提釣竿問。“不過他家幾個管家，驕橫得可以，遲早會壞了徐家名聲。”“這話如何說？”“一個叫徐成，一個叫徐遠，欺壓百姓是常事，可惜徐閣老的兩位公子，大小也算是個官員，對百姓訴告不理不問，如此寵着，恐怕這兩人有恃無恐，會釀出大事。”那半天，徐階一條魚兒也沒釣成，倒是生了一肚皮的悶氣。