王書貴又娶了兵部侍郎張君憲的女兒爲妻，正當拜堂成親的那一日，碰巧老父攜着二哥前來尋他。老父說：家鄉連年旱澇成災，餓殍遍野，家中老小包括他的醜妻女兒在內均悉數故去，他的小兒王敬堂也被人販子拐走，不知下落，他們父子二人無奈只好前來投他找口飯吃。王書貴命人將父兄秘密安置到館舍，答應辦完婚事即去找他們。
王書貴並未因爲家鄉遭此橫禍而憂傷，反而暗暗竊喜：醜妻已死，後患也除，免得日後擔了陳世美的罪名。如若來者不是父兄而是妻子兒女，則不知又得花費多少周折。
王書貴說：“爹呀，你們回吧！兒在外面混個小官也不容易，倘若我收留了你們，還說我營私舞弊，影響官聲。不如你們還是回去，到時我會給你們些錢財度日。家中如沒有我出來做官，你們找誰去？還不是照樣餓死？”
老父和二兄哭哭咧咧地走了。
先先皇爺駕崩之後，先皇爺倚重王書貴的權勢和手段，賜封他爲六部之首，官拜左丞相。
五歲的王敬堂幾經週轉被人販子賣到江淮流堿一戶潘性人家。潘老是個善人，家有幾分薄產，膝下無子，只有一女。老潘怕年老無靠花錢買了個小子，誰知好運不濟，不久倆老相繼病逝。姐弟倆相依爲命，姐姐先嫁人，後來弟弟也娶了房媳婦，生下一子就是潘又安。潘又安八歲那年，父親生了重病，臨死前交待他說：
“崽呀，咱家原本不姓潘，而是姓王，我叫王敬堂。你還有個爺爺在朝中做官，倘若有日見到他，決爹的名字。他不認識你，爹的名字他是知曉的，爹的名字就是他老人家取的，自然不會忘記。”
潘又安入宮之後，打聽到姓王的官員無數，他知道哪一位是他的親爺爺？論相貌看走手，年紀也彷彿，他覺着王書貴倒有點像他死去的父親，有幾次話到嘴邊，他都沒敢開口直說。他認爲王書貴這人品德不好，好好的宰相當着還要謀劃人家的江山。他的祖先裡不該出這樣的人物，所以就沒有相認。還有，如果他真是他的爺爺，那麼王皇后不是他的小姑媽了嗎？傳出去豈不貽笑大方，亂了章法。