從南方歸來，有了芳卿這樣一位賢惠能幹而又富有才情的新婦相伴，對於又一次受了刺激的曹雪芹來說，實在是一種很大的精神安慰。二人相敬如賓，相濡以沫，苦日子中也自有一絲甜蜜和樂趣。
前妻留下的方兒，已經長到八九歲了，聰明乖巧，活潑可愛，也肯聽話，曹雪芹很是愛憐。這是曹雪芹唯一的骨血，也是他精神的唯一寄托和希望所在。
坐吃山空，生計是越加艱難了。當年初回北方時，雖說被抄家近於掃地出門，但終究隨身還有一些攜帶。特別是爺爺遺留下來的一部分書籍、字畫、古玩，從抄家餘劫後散失遺落的棄物裏挑揀了一些帶在身邊，仍不失為傳家的寶物。可是，隻因為日子過得慘淡，時不時已經陸陸續續拿到琉璃廠海王邨舊書肆或古玩店賣掉了。
現今手頭上還珍藏著一套《全唐詩》。那是爺爺楝亭公當日在江寧織造任上監刻的保留精印本，是精選的開花紙印的，高麗紙做的磁青皮，細錦包角，精紋織錦的函套，每本都蓋有曹寅的藏書圖章。這是祖父奉旨給康熙皇帝監製時，特為精印、精裝的幾部中自己留下的一部。爺爺最為喜歡和推崇唐人的詩，曹雪芹受爺爺影響，從少年時期起也嗜讀若命，幾乎天天都要展卷誦讀，愛不釋手。
“二少爺，您把這書用包袱包起來做什麼？”芳卿見曹雪芹把《全唐詩》不再放回書箱，而是用一張外出時包裹衣物的白包袱皮，把書通通兜在裏麵，便不解地問。芳卿平日說話，仍沿襲30多年前在南方的慣用語，稱呼曹雪芹“二少爺”。
“唉，糧食一點兒沒有了。一家三張嘴，嗷嗷待哺，吃飯要緊啊！再說，方兒太小，又瘦弱多病，小孩子家怕是熬不住的。”
“不，不，就是把我賣了，你也不能拿太老爺這套書去賣掉。要賣，就先拿我從南方帶來的那幾副錦樣賣出去，換幾個錢，先貼補著用。”
“那怎麼成！你那幾副錦樣，都是絕品，怎麼舍得輕易就舍棄呢？”
“不妨事的，反正圖案我都已經描畫下來了，也不可惜。”
曹雪芹終於拗不過芳卿的一片誠心，這一次還是先把芳卿帶過來的幾片錦樣，拿去賣掉了。可憐巴巴僅換回來三四兩散碎銀子，曹雪芹從集市上買回些糧食勉強度日。芳卿知道曹雪芹嗜酒，就又去到村頭上酒店裏，給曹雪芹打回一瓶老酒來。
“滿紙荒唐言，一把辛酸淚。都雲作者癡，誰解其中味？”曹雪芹決心抓緊時間，把《石頭記》後三十回寫下來。這回南行收獲還是不小，親眼見到的人事滄桑，有意訪問過的親朋故舊，都給了他許多新的感受，激發他進行新的思考。
故事的結局更明晰了，他意識到寶玉到最後隻有一條路可走：出家做和尚。這世道太黑暗，太不公平了，遁入空門，或許是他最後的抗爭！
他不顧一切地，趴在炕沿上拚命地寫作。白天時間不夠用，晚上在一豆燈光下，奮筆疾書。往往是寫一陣，停下筆來歎息一回。有時候寫到傷心動情的地方，竟會小孩子般放聲“嗚嗚”痛哭起來，驚動得芳卿趕緊過來安慰他，用手帕為他拭擦眼淚。
偶爾出門去，曹雪芹也總是將紙筆卷藏在腰間。當時人們大多穿長袍，紙筆揣在懷裏，外邊一點顯露不出來。在外邊與人交談，聽到別人講話中有用得上的話，或者見到眼前有些特點的一景一物，他便即刻解開包袱，借著一塊石頭，或一個樹墩子，鋪開紙，蘸飽墨，提筆就寫起來。有時甚至癡癡地和石頭說起話來。
據說有一次，他跟人在茶館裏聊天，說著說著突然站起身，拔腿就往家裏跑。有人好奇，緊跟他身後去看，等趕到曹家看見他已經趴在炕沿上寫他的書了。不了解他癖性的說他癡，甚至說他大概是犯了瘋病。了解他的人，都佩服他處處留心好學，有股子毅力。如此坎坷的境遇，寫書這事要放在一般人身上，恐怕早打退堂鼓了。有人不解，飯都吃不上了，還寫哪門子書啊！曹雪芹卻把寫作《石頭記》當成了他的生命。
俗話說：遠親不如近鄰。曹雪芹晚年在山村的貧居生活，多虧了他有一個好鄉鄰，那就是外號鄂三的鄂比先生。
鄂比是旗人，屬鑲白旗。據說他的先祖在外做過官，不知道犯了什麼罪，被拔旗歸營，回來居住。他姓鄂卓爾，又自稱鄂蘇拉氏。鄂蘇拉氏係滿語，意思是大白丁兒。