不說皇帝這邊，再說賈府這邊，賈珂不在的這兩年，一直平安無事，沒有出什麼大亂子。由於剷除了賴大，所以這幾年府中的收入還是有一些增加。
而賈府中的天，老太太賈母現在對賈寶玉的寵愛，已經到了讓人髮指的地步，幾乎要把賈府能夠拿出來的都給他。於是賈府中關於繼承人的謠言也是四起，有的說是賈珠必定是繼承人，因爲他是長子嫡孫。但是有的人卻不以爲然，他們認爲賈寶玉纔是賈府未來的繼承人。賈珠雖然是長子，但是賈寶玉是個有來歷的，將來一定能把賈府帶的更加輝煌。
王夫人聽到這兩種謠言，也是不知所措，畢竟兩個都是他的兒子。不管兩人誰做了賈府的當家人，她都是賈府未來的老太太。所以對這些謠言她既沒有打擊也沒用贊成，這就造成了這些謠言愈演愈烈，幾乎成了賈府每一個奴才都議論的話題。
而賈珠則被包圍在這些謠言中，他對自己的未來感到了十分的不確定，於是更加拼命的讀書。他認爲只要自己讀書有成，將來做官。而賈寶玉不過是個小娃娃，到時候他官運恆通，賈寶玉就是再受寵也動搖不了他的地位。
但是事與願違，在第二年的鄉試中，賈珠在第一場就堅持不下來，由於長期服用阿芙蓉，他的身體實在是太差了。在第一場三天的考試中，他就因爲體弱無法堅持下去而被擡出考場。於是這一年的考試他便落榜了，只能等三年之後再考第二次。
這一次的打擊，對賈珠來說是致命的。賈政對他的落榜，也是非常的失望，不過賈證並沒有過於難爲他。畢竟知道他是因爲體弱而無法堅持並不是他的學問不行，於是便交代王夫人給賈珠請名醫保養身體。
而請來的大夫對於他的身體如此糟糕都莫名其妙，只能開一些大補的藥給他進補，但是卻完全不起作用。直到後來北靜王，薦來一位老大夫才把事情弄清楚，老大夫看了賈珠的症狀之後，便請王夫人讓下人都退出房去，這才悄悄的對王夫人說：“我看令公子是服用了阿芙蓉，這藥在咱們中土是沒有的，都是外國進貢而來，一般人家還用不起這藥，這藥少量的用是提神止疼的良藥，一旦長期大量服用，身體便垮了。我看公子服藥時間過長，用量太大，已經無可挽回。”
王夫人一聽這話，嚇得癱在地上，她從來沒想到這樣貴得藥材竟然是害人的毒藥，她一直只以爲對身體稍有妨礙，並沒有大事。
王夫人突然清醒過來，跪到老大夫的面前，哭着對他懇求道：“老先生，既然你看出了，他服用這藥可有什麼辦法？只要能保住他的性命，花多少錢都願意。”
那老大夫搖搖頭對她說：“已經太晚了，現在藥性已經入了骨髓。再也拔不出來了，要我說趕緊給貴公子定一門親事，好歹給他留一個後。如果再拖延下去，恐怕是想留後都不成了。”
王夫人聽了他這話，已經完全的絕望了，現在他的淚水不停的往下流，最後哽咽着問老大夫：“我兒能堅持多長時間？”
老大夫如實道說道：“令公子如果服用我開的藥方，並且再也不再沾那東西，我看二十五六年還是可以的。如果只服用我的藥，對那東西戒不了也就是五六年的時間了。不過我看令公子的樣子恐怕是以後再也離不了那東西了。”
王夫人無奈，只能讓那老大夫開了藥方，把賈珠的阿芙蓉全部收走，每日裡親自監督他吃藥。但是阿芙蓉哪有那麼好戒的。賈珠一離了阿芙蓉便痛苦難耐，有時候甚至恨不得馬上去死。王夫人看到看到這種情況，心裡哪裡能忍受他受這樣的苦，於是把阿芙蓉重新給他用上。只是拿老大夫開的藥，卻一日也不停了。
之後一段時間賈珠便臥病在牀，每天服藥，對外宣稱這要是對身體大補，用於補充賈珠原先日夜攻讀虧損的身體。
賈政聽說這件事後，還自責了好一陣子。他想起賈珂走的時候，對他說賈珠身體不好讓他多多關照，他當時並沒有放在心上，沒有想到讓賈珂給說中了。早知道他就聽賈珂的良言，對賈珠身體多注意一下，讓他不要那麼努力攻讀，以致身體被累垮了。
而現在賈府中現在誰最清閒，那就是周姨娘莫屬了，她現在兒子已經是四品官，手上還管着兒子的莊子，家裡還囤着幾千兩銀子，身邊有三四個丫鬟照顧。除了每天要思念賈珂之外，其他的時候在賈府中有吃有喝，過得悠閒自在。閒暇下來的時候，就在榮國府中四處閒逛，找人嘮嗑，日子過得好不逍遙。
賈政現在雖然不在周姨娘處過夜，但是還是隔三差五就來她屋中坐坐。在外人和周姨娘看來賈政是念舊的人，再加上賈珂已經是四品的守備，因此下人對周姨娘，也是恭恭敬敬，沒有人敢小看她一分。
而賈政的另一個姨娘趙姨娘，這段時間卻是行爲詭異，每天大廚房送來的飯菜，她好像都是吃光了的，而她母親這段時間卻經常來看他，每次都裝着一袋的東西，也不知道是什麼，除此之外倒也沒有什麼大事發生。
如果說二房這邊，除了賈珠的事有些不快外還一切順利。那麼大房，就過得一團糟了。自從張姨娘死後，賈赦就把她生前住過的院子封了起來。除了他，誰也不讓進去。就是裡邊的打掃，也是賈赦親自動手。
之後賈赦就又回到了原先酒色之徒的樣子，而且再也沒有了鬥志。納了一個又一個的小妾，大家都以爲他恢復正常，把張姨娘忘了的時候。
賈赦卻經常一個人跑到張姨娘房中，下人們卻能聽見，在房中賈赦一個人撕心裂肺的哭聲。但是到了第二天，賈赦又像沒事人一樣出了房，繼續他花天酒地的生活，而且他的脾氣變得越發暴躁起來，動不動就仗責下人。
賈母在知道這種情況後，也只能長嘆一聲。對於動了真情的賈赦，她是真的沒有辦法。
而賈璉卻在中國府這邊長住下來，而賈赦也沒有反對意見，除了張姨娘的事，其他的一切他都不在乎。而賈璉自己也樂得痛快，每日裡在榮國府遊手好閒，也沒有個正經事幹。至於讀書，他早就不幹了。
賈母對現在賈府的情況感到越來越沉重，她經常想起她同賴嬤嬤最後的對話，如果不是那一次，她還不會注意到賈府已經衰落到這種地步。現在唯一支撐她的就是賈珂了。只要賈珂將來能夠成事，賈府中這些糟心事，便全部能夠解決。而對賈寶玉，她現在也是真心的喜歡，想着他既然無法出人頭地，不如就讓他在溫柔鄉中過一生，算是給他的一點補償。畢竟不論是現在的皇帝，以及成事以後的賈珂都是不能容忍賈寶玉有一絲的權勢的。
現在的賈寶玉只有週歲一歲半的年紀，但是說話已經非常流利清晰，完全就是一個聰明伶俐，長相俊俏的小朋友。賈元春現在對賈寶玉是形影不離的照顧，賈寶玉剛開始說話的時，對賈元春叫的是娘，後來慢慢懂事才改過來，賈元春因此對賈寶玉與別人不同，可以說是把賈寶玉當成自己的孩子來養。