按說那個商人雖然是真心實意領養孩子，沒有壞心，可畢竟他是撒了謊了。要是不說那些瞎話，也不至於挨這頓打，認倒黴算了唄。
可他偏偏不認！你猜怎麼著？這個商人就在街坊鄰裏散布謠言，說胡雪岩荒淫無恥，借著開善堂的名義弄了好多小姑娘，都怎麼怎麼讓這姓胡的給“禍害”了……
其實這些謠言很容易揭穿，老百姓隻要稍微動腦子想一想，就不會相信。
可問題是胡雪岩是個“商人”，在大清國，這商人的口碑最差，什麼貪財無恥，見利忘義，奸詐狡猾……反正隻要是罵商人的，老百姓那是怎麼說怎麼信。
結果杭州城裏一家夥開了鍋了！關於胡雪岩“荒淫無恥”的謠言滿天飛，而且越傳越沒邊兒！
這時候，就有杭州城裏的道德模範、正派紳士給左宗棠寫信，說：胡雪岩道德敗壞，為世人所不齒！讓這麼個家夥當賑撫局的總辦實在不合適，請總督大人盡快把他換掉（最好抓起來！），另找廉潔敦厚的正人君子來負責杭州的賑撫工作。
結果左宗棠根本就沒回信。
眼下老左正帶著湘軍攻打湖州府，仗打得很激烈，沒有閑工夫過問杭州的事兒。自從把杭州的賑撫工作交給胡雪岩，老胡除了請左總督幫忙“陷害”了一把張廣川，其他什麼事都不用老左操心，一切都辦得妥妥當當。
這麼一個大能人，要把他撤了，換誰？誰能把差事辦得像胡雪岩這麼好？
再說了，左宗棠既不是書呆子，也不是傻子，他不會想嗎？
“霸占”小女孩兒？老胡瘋啦？這不吃飽撐的嘛！
對呀！要說這幫散布謠言的人也混蛋——那個小姑娘不是才十歲嘛！
啊，胡雪岩連十歲的小丫頭都不放過，你說這老小子“荒淫”到什麼程度了！
得，就從這兒起，胡雪岩背上了一個“荒淫”的名聲。
很快外頭就傳開了，說老胡娶了N個姨太太，他們家後院那簡直是……哎喲！香風撲麵，美女如雲！
也該著胡雪岩倒黴，就在這個時候，他在杭州城裏的元寶街買了塊地，給自己蓋了一所宅子。
其實胡雪岩挑這麼個時候蓋房，是有他的考慮。
老胡是開錢莊的，開錢莊最重要的就是撐場麵，讓別人覺得他實力雄厚，這樣他才會更有“信譽”。所以老胡才急著蓋宅院，而且蓋得相當奢華，特別排場……
這一家夥外頭又傳開了！說胡雪岩這宅子可了不得，修得跟阿房宮似的！台階都是玉的，夜壺都是金的，裝醋的瓶子都是瑪瑙的！“胡家花園”池子裏養的那金魚兒，好家夥，跟小驢兒一樣！
說句實話，眼下胡雪岩手裏根本沒什麼錢，他這宅子光蓋了個殼兒，裏頭是空的。可他說他“沒錢”，誰信哪？
再說了，他一個開錢莊的，敢說自己“沒錢”嗎？為了生意他也得到處吹牛，得說自己有錢呀！
那就沒辦法嘍，老胡隻能瞪著眼讓老百姓隨意編派了。
要說這世上什麼最厲害？聯想！
很快，在聯想的推動下，“荒淫無恥”和“窮奢極欲”兩個傳說合二為一。說胡雪岩家這個大宅子，後頭整整一條街住的都是姨太太！姨太太多到什麼程度？有些姨太太連老胡自己都不認得！
“不認識？那晚上‘睡覺’怎麼辦？”
“人家有辦法呀！給每個姨太太編個號兒，弄了一百多個小牌子（小牌兒都是象牙的），寫上號碼，老胡看著哪個號碼順眼，就把牌兒一翻，然後傭人就拿著這個號牌去找姨太太去了……”
“啊！天天這麼個搞法兒，這老小子受得了嗎？”
“廢話！你當然是不行，可人家老胡行，他有的是錢哪！你知道給胡雪岩獻藥方的那個大夫嗎？”