這裏清景依然，隻是秋風瑟瑟，令人生出一種悲涼之感。曹雪芹知道，這是由他的心緒造成的。之後，他遊了平山堂、天寧寺；還懷著一種莫名的景仰心情，登梅花嶺，憑吊了前朝名臣史可法的忠烈祠。
遙想爺爺曹寅在世之日，曾在揚州天寧寺設立書局，團結了一大批學者在這裏進行古籍整理與刊刻，那是怎樣的盛事啊！如今卻連說話都得提防。想到這些，頓覺遊興索然，便早早地折身往回走去。
天日晴和，待又登船江行，江寧已經遙遙在望了。王安石有詩雲：“京口瓜州一水間，鍾山隻隔數重山。”
魂牽夢繞的秦淮舊地啊，你如今還會是當年的綽約風姿嗎？到了江寧以後，未及安寢，曹雪芹即租訂一輛馬車，對本家十三處故居一一重訪。他看到當年的江寧織造署，已經翻建成乾隆皇帝的專用行宮，黃色的琉璃瓦，在陽光照射下熠熠閃光，刺人眼目；高聳的宮門，由親兵們把守著，門禁森嚴，不準入內。
他又來到烏龍潭東麵本屬曹家的小倉山，這裏景色雅致，有著蘇州園林氣概。這本是爺爺曹寅在世時監督工匠修造的。因抄家禍起，沒入官府，後被繼任織造隋赫德接管，稱為“隋織造園”。未久，隋赫德也官場倒運，被撤職後，此園再易新主，由“性靈派”著名詩人袁枚於乾隆十三年買了下來，遂改名為“隨園”。
袁枚罷官閑居，自號“隨園主人”。裕瑞在《東窗閑筆·〈後紅樓夢〉書後》中說：“聞袁簡齋家隨園，前屬隋家者，隋家有即曹家故地也。”明琳的堂兄明義也曾說過：“曹子曹雪芹出所撰《紅樓夢》一部，備記風月繁華之盛，蓋其先人為江寧織府，其所謂大觀園者，即今隨園故址。”曹雪芹的朋友明義曾親到過隨園去訪袁枚，他贈袁枚的詩中，甚至斷言說：“隨園故址即紅樓。”袁枚在《隨園詩話》中也就公開宣稱：“所謂大觀園者，即餘之隨園也。”
當然，這些話未足全信。曹雪芹寫《紅樓夢》是進行文藝創作，大觀園的構築布局，是依據人物的身份、秉性和展開故事情節的需要敷衍渲染的，不應是某一處園林生硬地照搬。說它曾是曹雪芹構思描繪大觀園的生活依據之一尚可，斷定“隨園故址即紅樓”，那就未免過於武斷了。不過，文人多好事，他們的這種說法，也算為後人留下了一段佳話。
曹雪芹回到金陵，還遍遊了莫愁湖、玄武湖、雨花台、燕子磯這些名勝去處。一日，更租一小舟，遊了秦淮河。看到兩岸綠窗朱戶，酒家林立，青樓畫舫，傳出箏簫之音。十裏秦淮，還似當年的繁華。
這裏是達官貴人、巨賈富家的銷金窟。他們紙醉金迷，盡情享樂，他們嗜飲嗜食的該有多少窮苦人的白骨和血淚啊！特別是那些無辜的弱女子，受盡淩辱，強顏賣笑，秦淮河啊，你嗚咽流淌著的，莫不是她們的冤魂？
第二日，他還特意去憑吊了明孝陵。鍾山蒼莽，雲海翻濤，幾多曆史風雲，回蕩在曹雪芹胸中。他隱隱感到這大清朝局也會像這四時的天象一般，有朝一日必將有變！他不敢也不願想下去了……
曹雪芹這回南來，本是應人之聘，到兩江總督尹繼善那裏做幕賓的。不過，寄人籬下，這碗飯並不好吃。
這尹繼善乃是雍正元年進士，為人有才幹，又性情寬和，不久便升任封疆要職，那時他才不過30來歲。
有一次，雍正對他講為官之道，叫他效法李衛、田文鏡、鄂爾泰三人。這三人均是雍正最為賞識崇信的人，一時他春風得意，炙手可熱。尹繼善卻稟奏說：“李衛：臣學其勇，不學其粗。田文鏡：臣學其勤，不學其刻。鄂爾泰：宜學處多，然臣不學其愎。”
他以精辟、深刻的知人卓見，對這三位宏臣褒中有貶，巧妙地進行了批評。這顯示出他有膽有識，對應得體的辯才，連雍正也不得不點頭稱許。
像尹繼善這樣的人，在官場上雖也難免“逆水行舟”，但因為他處人處世機敏，一次次總能繞過險灘，所以還算官運平順。雍正六年，授內閣侍讀學士，協理江南河務。不久即調任江蘇巡撫。雍正九年，又升遷為兩江總督。此後的近30年間，他曾四督兩江，有時還兼管兩淮鹽政，頗有政聲。
尹繼善初到金陵，正好曹家剛被遣北返。他的總督衙署，就與曹家老宅相鄰，自己又兼著兩淮鹽政，等於也是做著和曹寅在世時一樣的官。
他在金陵任上久了，日益察覺到曹家累代在江南的影響，特別是曹寅曾4次接駕，又在文化學術事業方麵有過大的建樹，內心裏是很追慕“楝亭公”的。在這種心情之下，尹繼善自然留意於訪詢曹家的現狀，特別是曹門子孫的下落。這便是曹雪芹這次得以被邀南來的因由。
一到江南，曹雪芹的才華立即受到尹繼善的賞識推重。曹雪芹能詩善文，琴、棋、書、畫無不通曉，深得尹繼善厚愛。
一天，揚州著名的肖像畫家陸厚信來遊金陵，曾被邀到尹府做客，見到了曹雪芹。曹雪芹與之縱論畫道，談吐間，陸厚信十分驚喜和傾慕。後來，陸厚信還為曹雪芹繪了一幅彩筆肖像畫相贈並在畫端寫了如下的題記：“曹雪芹先生洪才河瀉，逸藻雲翔。尹公望山時督兩江，以通家之誼，羅致幕府，案牘之暇，詩酒庚和，鏗鏘雋永。餘私忱欽慕，愛作小照，繪其風流儒雅之致，以誌雪鴻之跡雲爾。”
這是曹雪芹確曾回到金陵去，有過入尹繼善幕府一段經曆的最為確切的記載。這幅畫像，也是曹雪芹當年風采能夠以寫真留於後世的最早、也最為傳神的珍品。
曹雪芹才華出眾，又做事傲物，易為人知，也易為人妒。官場上逢人恭維、作揖那一套，他學不會，也看不慣。敦敏稱讚他“可知野鶴在雞群”，從一個方麵也正是說明他的超眾脫俗，倜儻不群。一個懷抱“野鶴”“閑雲”之心的人，自然是適應不了官場那樣的環境的。
尹繼善雖有愛才之心，而曹雪芹的高談雄辯，放言無忌，也未免時時會有所觸忤，尹便漸有不樂之意。
尹繼善從他的正統觀念出發，曾以長者口吻勸訓過曹雪芹，希望能夠導之於正。曹雪芹哪裏肯聽命於封建禮法那一套呢？這樣就不可避免地產生了些矛盾，曹雪芹終被視為狂妄無狀、忘恩負義。
道不同不相為謀，加之另外有些事情，曹雪芹決意離開尹府了。還有一個更直接的原因，就是曹雪芹寫的《石頭記傳奇》不知怎麼流傳到了一個皇室貴族家裏去，竟被乾隆皇帝知曉了。乾隆閱過後，斥之為“淫詞小說”，要進行追查。
這件事又恰恰與尹繼善的女婿永璿有些關係。因這緣故，尹繼善獲得了龍顏震怒的消息。而著書人曹雪芹，現在就正在他的幕府裏，這可該如何處置呢？
此時尹繼善本已不想留用曹雪芹了，借此讓他趕緊離職，快到別的地方去躲躲風聲，以免得多有株連，事情更不好收拾。
這一打擊，表麵看來好像很有些突然，其實也正是曹雪芹意料中事，他背上叛逆、忤逆的惡名已非一日了。於是他連夜收拾行裝，決意北返。
這回南遊，謀事算是失敗了。而趁此機會加深了解了一下南國社會風情，尋訪了當年府內府外乃至織造作坊的一些舊人，獲益還是很大的。
短暫的幕僚生活，使他有機會親見了官場的種種腐敗與虛偽，金陵的幾個大家族的浮沉變遷，舊權貴們的沒落飄零，新權貴們的揚揚得意，好像30年前被抄家的一幕，一直在不斷地重演著。這為他回去後進一步修改潤飾《石頭記》完成後幾十回書的寫作，收集到許多珍貴素材。從這層意義來說，曹雪芹不虛此行。
尤其給了他很大慰藉的一件事，是他尋訪到當年江寧織造府裏的“舊人”中，有一個曹雪芹少年時曾耳鬢熟的貼身丫頭，如今淪落在秦淮市井之間，青春已逝，生活無著，孤苦飄零。
曹雪芹秉性同情世間弱女子，見她如此情狀，不免感歎欷歔。這女子也念曹雪芹從未把她們這些女仆、丫鬟之輩當做下人看待的舊恩，內心裏對這位雖已落難，但做人依然堂堂正正的曹公子，仍十分敬重。曹雪芹這次南來前，原配夫人已不幸病逝於西山荒村，唯留下一個男孩與曹雪芹相依為命。這真是“千裏姻緣一線牽”，男單女孤，兩情相投。在朋友們熱心撮合下，曹雪芹便續娶夫人，偕她一道北歸了。
為紀念這次秦淮遇故知的奇緣，曹雪芹從南曲《西廂記·佛殿奇逢》一折裏“花前邂逅見芳卿”這一名句中抽取二字，給他這位新娘子取名為“芳卿”。
近年，在文物考古中新發現一對刻有“芳卿”之名，並有蘭石題句的書箱，被認定為曹雪芹的遺物，並從而認定係曹雪芹南歸再娶的物證。書箱的正麵刻著對稱的兩小叢幽蘭，第一隻書箱的蘭花旁刻有一塊石頭，在蘭石的上麵還刻有一首詩《題芹溪處士句》：
並蒂花呈瑞，同心友誼真。
一拳頑石下，時得露華新。
“並蒂”、“同心”，俱為新婚用語。“一拳石”，與曹雪芹的居處環境又相吻合，曹雪芹平日也常以頑石自命。“露華新”，自然是新婚燕爾，新娘子自喻之詞了。
第二隻書箱的開板上，也刻有兩行小字：“清香沁詩脾，花國第一芳。”這該是曹雪芹稱讚芳卿的一語雙關的情語。並有“乾隆二十五年歲在庚辰上巳”的題款，署明他們正式結婚的日期在這一年的三月初三。按傳統習慣，這一日為修褉日。古時人們多在這一天到水濱，出遊宴集，求得吉祥。選擇這一天結婚，那應該算是喜上加喜了。
這芳卿是一位心又靈手又巧的女中才子，精於工藝美術，能自編自繪多種織錦圖樣。這套本領，大約是他當年從織造局學得來的吧！曹雪芹能寫會畫，又極工巧，如今娶到這麼一位聰穎賢惠的妻子，內心的欣喜與滿意，自不待言。
回到北京，曹雪芹便用這對書箱專門替芳卿存放圖稿、錦樣，視若家珍。他還在第二隻書箱開板的背麵，親自用墨筆寫下了5行楷書：
為芳卿編織紋樣所擬訣語稿本
為芳卿所繪彩圖稿本
芳卿自繪編錦紋樣草圖稿本之一
芳卿自繪編錦紋樣草圖稿本之二
芳卿自繪編錦紋樣草圖稿本
由上麵的文字可知，曹雪芹也曾幫妻子繪製彩圖，編寫口訣。這又與《廢藝齋集稿》的內容相合。夫妻恩愛，貧賤相守，應該說是相當美滿的。