可惜美景不長，正當顧才女年方四十，貝勒英年早逝，留下孤兒寡母哭斷淚腸。所謂乘虛而入也好，自然而成也罷，本來就對才女大家情有所記的龔才子懷著無限同情，依舊是王府座上賓，兩人之間感情如何程度不得而知，但是交往卻依舊如故，自然地就引起了時人刮目，風言風語哪能少得了。偏巧龔才子又來了一首很讓人曖昧的小詩：空山徒倚倦遊身，夢見城西閬苑春。一騎傳箋朱邸晚，臨風遞與縞衣人。還很是露骨地寫了自注：“憶宣武門內太平湖之丁香花一首。”恰好這太平湖畔距貝勒王府不遠的地方有一片茂密的丁香樹，“朱邸”是否指奕繪貝勒府？“丁香花”、“城西閬苑春”更讓人聯想到西林春。這才女卻也偏好一身白衣裙，無論從哪裏分析，這詞中之意是太過露骨了一些。
這還罷了，偏偏這龔才子又寫了一闋《桂殿秋》詞：明月外，淨紅塵，蓬萊幽謐四無鄰。九霄一脈銀河水，流過紅牆不見人。驚覺後，月華濃，天風已度五更鍾。此生欲問光明殿，知隔朱扁幾萬重。
就這樣，“丁香花公案”迅速發酵，京城士子皆知。主人家自然也有風聞。一怒之下。王府嫡長子，妙華夫人的兒子載鈞把顧太清和她的兒女們逐出了王府，從此淪落苦寒，生活幾度陷入絕境，隻好變賣少有的積蓄，租了幾間破舊房屋，維持生計，撫兒育女。生活之維艱由此可見一斑：陋巷數椽屋，何異空穀情；嗚嗚兒女啼，哀哀搖心旌。幾欲殉泉下，此身不敢輕；賤妾豈自惜，為君教兒成。
無論緋聞是否屬實，但是對當事人確實影響很大，先說這顧大才女自此對情愛怕得要死，這在晚年的《紅樓夢影》中就有鳳姐托夢賈璉的話說：“色之一字，更是要緊。隻圖一時之樂，壞了他人的名節，壞了自己的行止。還有那嘴角兒上的陰騭，更是要緊，斷不可談論人家閨閣曖昧。”因為這是綱常禮教已經發展到極致，三從四德，貞節觀念最為變態的季節，甭說官宦人家，王公老婆紅杏出牆，即便是尋常百姓家，女人死了老公要改嫁也難上加難，何況是私情？可不比現在，有些女人為了出名，專門製造“紅杏出牆”的新聞，以此引發關注，不以為恥，反以為榮。
男豬腳更慘。丁香公案之後，招惹了貴胄的龔才子怎不受到排擠，無以立足之下，隻好逃奔自己老家，借結教書為生，苟延殘喘。據說為了迎回家人，自己都沒幹重新回到京城，而是托了友人代為辦理的。即便如此，被帶了綠帽子的仇家也沒放過他，最終落得被人毒死的結局。
緋聞往往比其他正派新聞都傳播的久遠，直到清末，還有人不放過這段亦真亦幻的片段，竟然被編成了小說，以此流傳千古。曾樸一部《孽海花》詳詳細細描述了一段顧才女與龔才郎的緋聞故事，並且還煞有介事說自己所寫，龔才子被毒死，就是采納了其子的敘述，這證據倒是更加給力，似乎這不是小說，而是人物傳記了。
說來話長，這龔大人才勝一時，眼界寬闊，愛國憂民，精忠報國，但是有一子號半倫的卻是有著賣國賊嫌疑。據說這半倫除了對小老婆，別的通通不愛。此子一麵是放蕩不羈，一麵是聰穎非凡，尤其“藏書極富，甲於江浙，多四庫中未收之書”。他不僅讀書，而且治學也有獨到，著述甚富。又性格豪放，不修邊幅，且恃才傲物，因此多招世人忌恨，幾乎走投無路，隻好變賣家財，最終落得家徒四壁。
晚年客居海上時，曾經做過英國人威妥瑪的幕府，可見其精明於洋務。再後來，半倫先生曾經給英人巴夏禮做幕僚，據說當時英人欲進攻故宮，龔半倫極力勸阻，說什麼：中華瑰寶皆存於圓明園，將之摧毀就可以泄憤了。英夷竟然順從，洗劫了圓明園。為此，這半倫先生也成了名副其實的賣國賊，侵略者幫凶，與自己的父親，堂堂愛國者形成了鮮明對比，不得不引人嗟歎。正如清人趙翼所說：名父之子多敗德，這雖然說的有些絕對，但是聯想到後世的敗家子，其中也還是有些道理的。