彭玉麟知道曾廣璿是個性格懦弱的女孩子，攤上了這樣一個既嫖娼又吸煙的爛男人，已是不幸，如再喪夫，你還讓她活還是不活?--可要放過楊幼仙，各口岸以後還辦不辦差?國家將有多少稅金流失?權衡再三，彭玉麟做出了這樣的處理:鴉片及布匹全部充公，罰楊家拿出十萬兩白銀贖楊幼仙的一條命。
此案這才了結。楊幼仙原本吸毒已深，是一刻也離不了大煙的，如今收監十幾天，可就苦了他了。楊幼仙被抬回家時，隻有一口遊氣未走，楊家老爺在他的臉上整整噴了十幾口的煙氣，才把他的真魂喚回。消息傳進湘鄉，曾紀澤不著一言，暗中卻兀自歎道:"彭世叔不秉公執法，算是徹底坑了廣璿了!世人稱你彭打鐵，你偏偏辜負了這三個字!"
曾紀澤料個正著。楊幼仙早先還對廣璿不敢怎麼樣，一心巴望著自己一旦有個閃失靠曾家這棵大樹遮風擋雨。讓他著惱的是，自己出了這麼大的事，曾家竟然連兔子大的人也沒出來一個，形同路人，任著自己在獄中哀嚎、煎熬，如果不是自己命大，恐怕不知死過多少回了!他此後自認為看透了曾家人，便一個人搬出了臥房，又連著弄回了四個妾。
他每日隻在這些娼門裏出來的人身邊廝混，留廣璿一個人整日以淚洗麵。不久，楊家老爺見楊幼仙越來越不成器，怕楊幼仙把楊家幾代人的家業敗光，便撥了一個半死不活的鋪麵給楊幼仙，又給了一萬八千兩的銀子，讓楊幼仙出去自己頂門戶過日子。這更苦了廣璿。以前和楊家老爺一起過時，每日的三餐還有保證，身邊也還有一個丫環伺候。分出去以後，楊幼仙便把廣璿身邊的丫環要到了自己身邊使喚，廣璿不僅自己下廚，有時還米麵不繼，有時餓急了，便走出來豁出臉皮找楊幼仙要。
碰到楊幼仙心情好，便著人給她買上兩袋米還給些零碎銀子買菜用;碰到楊幼仙不知在哪裏生了氣，不僅米麵一粒不給，還夾槍夾棒地罵上幾句，一直把廣璿罵回娘家才休。
曾紀澤夫婦常常為了這個女兒苦惱。女兒回來一次便不想回去，常常是夫人一邊流淚一邊勸導，硬著心腸著人將女兒送回楊家。如今，曾紀澤外放使西，夫人便想借著這個由頭，帶上這個不成器的女婿和苦命的女兒，說是為了曆練楊幼仙，其實也是想用這種手段感化楊幼仙，圖其以後能對廣璿好些。
曾紀澤思慮許久，喟然長歎道:"楊幼仙在國內，丟的是他楊家的人，設若到了外洋，丟的可就是咱大清的人了!此舉萬不可行!不能讓這種人把曾家給通通毀掉啊!"夫人偷偷咬了咬下嘴唇，口裏卻不再說什麼。夫人知道，因為廉，因為法，才有了曾家的一切，也才有了舉家使西的聖恩。
自己的丈夫怎麼肯做往曾家祖宗臉上抹黑的事呢?劉鑒是曾紀澤的續妻。曾紀澤於鹹豐二年完婚，娶的是已革雲貴總督賀長齡的庶女。婚後僅兩年，賀氏死於難產。
鹹豐五年，曾紀澤二次成婚，娶的便是劉鑒。劉鑒字慧淑，父親是曾國藩生前的同鄉、好友劉蓉。劉蓉諸生出身，隨曾國藩辦團練，積功被保舉至陝西巡撫，後因"剿撚"戰敗被革職;曾國藩死後僅隔一年，劉蓉亦卒於鄉。劉鑒堪稱大家閨秀中的佼佼者，不僅知書達理，操持家務也是一等一的好。未出閣前，劉鑒每日讀書是主業;嫁到曾家後，讀書之外又學會了紡線、醃菜、納鞋、縫衫等女工。曾家上下挑不出她半個不字來。
劉鑒對自己嫁到曾家很滿意，不滿意的是沒有給女兒廣璿尋個好婆家。劉鑒為了廣璿常常背著曾紀澤私下落淚。欽命曾紀澤使西的消息傳開，曾府上下兩房人興高采烈。二奶奶郭筠一連幾天幫著劉鑒收拾衣物，料理事情。
下人們也都忙得熱火朝天。郭筠字誦芳，曾紀鴻妻。筠父郭沛霖，號雨三，乃曾國藩進士同年。郭筠出身書香門第，寫詩作文無一不能，是湖南出了名的才女。曾紀澤更忙。他給陳遠濟寫信，告知使西前擬定他為參讚官的事;他給天津的李鴻章寫信，求舉薦幾名熟悉洋務的人。
他還準備到同文館去挑選英、法兩名翻譯及一名供事隨同出行。曾紀澤把擬到同文館去挑翻譯的想法說給恭王後，恭王當即表示讚同，並馬上著人知會同文館，定出麵試時間，由沈桂芬陪著曾紀澤到同文館去辦理。很快，曾紀澤將英文翻譯定為左秉隆，法文翻譯定為聯興。曾紀澤與左秉隆有過交往，知道該人的英文學得很好，在同文館屬於比較拔尖的館學生，比自己要強得多。