這樣操作可能是很呆板，人們可能會有疑問：「真實的發生的事情有那麼重要嗎？小說不是虛構嗎？何必一定要有那麼靠實的依據？」我不知道別人會怎麼做，我是這麼做的，並且是必須的，如果沒有這些靠實的依據，我無法虛構。而我發現，不止是我，也有同樣的寫小說的人這麼做了。譬如說，《斷背山》，李安不是拍成電影了？我在大陸的《世界電影》雜誌上看到，《斷背山》的作者，美國女作家愛德娜·安妮·普露（Edna Annie Proulx）評價電影時候回顧小說寫作的情景，有一句話在我聽來特別重要，她說：我花了很多時間到處調查，調查什麼呢？就是美國的上世紀六十年代，有沒有白人羊倌。她這句如實的交代，可是給了我一個極大的支持。我想，哎呀！也有人在這麼寫小說。倘若在上世紀六十年代，沒有白人羊倌，難道她就不寫《斷背山》了嗎？恐怕她還是得寫，但是怎麼寫就不定了。
看起來，我們這些寫小說的人，總是企圖尋找到一個真實的東西做我們的依靠，否則就無從想象。我們遵循現實的邏輯，這是不是很奇怪？可事實就是這樣。就這樣，我追索明代的曆史，上海這小城──當時隻是縣治，在這曆史裏的身影形象，我盡可能將這張年表做得整齊詳細，讓我的人物可以在裏邊活動，否則明代離我那麼遠，我怎麼去規定他們的行為？同時我又慶幸顧繡不是發生在清代，清代離我們比較近，資料太多太多了，我會陷入事實的辨偽而約束想象。所以我們需要的東西，不能太少，也不能太多。幸運的是，《天香》的際遇正是恰恰好，正夠我用於推進故事情節，又不至限製我天馬行空。
我的主題，就是女性獨立自主，走上曆史舞台，在這一大片的文案裏邊，變得很模糊，不是那麼重要，重要的似乎還是另外一些事情：譬如說這個家族是怎麼樣的倫理和感情的關係，生活狀態如何，最後家道中落，是怎麼樣衰敗的，繡藝又是怎麼樣進入園裏，再名揚滬上，等等。小說分成三卷，分三期在上海《收獲》雜誌上發表，第一卷發表以後，沒有人知道我到底要做什麼。人們都以為我要為上海作一幅風俗圖像，《清明上河圖》那樣一幅風俗情景。人們不知道我在準備什麼，連我自己都有點迷糊了似的。這戶人家的生活迷住了我，我沉浸其中，離我的女性的主題遠得很。晚明時候的江南，你知道，是有一些玩物喪誌的風氣。這時節，上海地方相當繁榮，市場經濟起來了，市民階層起來了，從當年地圖看，許多地名都已經在了，並且延續今日。我沉醉在這種市井的蒸騰裏，幾乎不可自拔。但是我心裏的目標還是很清楚，那就是「顧繡」，也就是我的小說裏的「天香園繡」。天香園繡一定是要顧繡登場，這才是最華麗的篇章。這個目的很清楚，走向目的的必經之路也是清楚的，就是要讓這戶人家敗落，由誰敗落？誰有權力將家族推上下坡路？當然是男性，男性掌握著家族家業的主權。可是怎麼樣把家裏的財產揮霍殆盡呢？凋敝也是有美學的，就像花朵，開相要好，敗相也要好。我不喜歡難看的敗相，我要讓他們家，優雅地、漂亮地凋謝。在我沉醉在繁榮的滬上景象的同時，我保持著清醒，想著讓他們如何揮霍錢財。揮霍的方式很??多，花錢還不容易嗎？吃喝嫖賭，也是花錢，但是不好看，沒意思。我想那個時代的讀書人，尤其在富庶的江南，他們一定不止於感官的享受，他們應該是超脫飲食男女，要求更精致的樂趣，所以說就涉及生活的美學。
當我做年表的時候就發現，曆史有的時候真是比小說還要好，它具備故事的一切成因。 “顧繡”這件風物不是偶然產生，它其實有一個大背景，這背景可用一個事件證明，這個事件極富象征性，是什麼呢？ 《天工開物》這本書就是嘉靖三十八年完成，《天工開物》是關於工匠工藝的典籍，那時候，真有點文藝複興的意思，工藝農藝興旺發達，生產力的發展突然到了一個飛躍性的時刻，天智開啟，腦和手都變得很巧。我在小說裏設計了很多大師傅：造園林的、製墨的、織綢的、鑒定古玩的……天香園繡就在這樣的背景裏發生了。