胡雪岩的原配太太程氏，是奉父母之命所娶。此女相貌平平，能力一般，與胡雪岩亦無感情，是個老實人，且體弱多病。對這樣的結發妻，胡雪岩卻從沒厭棄過，像對待其他十二房姨太太那樣疼愛她。在胡雪岩的妻妾中，陽琪是第一個被當做賢內助而娶進門的女人。陽琪長得眉清目秀，美麗動人。她與胡雪岩年輕的時候便認識，說話也投機，二人心中都有一種莫名的感覺。哪知當時陽琪的父親突染風寒去世，陰差陽錯二人錯失了大好姻緣。11年後陽琪攜母親流落到了上海意外地遇見了胡雪岩，二人相見少不了驚喜，問候寒暄過後，胡雪岩說他在杭州淪陷後一年就來到上海，當時生意順暢。後來太平軍被鎮壓，他又回到杭州。現在主要的生意都在杭州，此次到上海來是為左帥借洋款，聽得陽琪心中歡喜。她問道：“這麼多的事情要你做，不累嗎？”胡雪岩頓時眼睛灰暗失色，“唉，有什麼辦法呢？她又幫不上什麼忙？”“她”像針似的刺了陽琪的心，她失望地低下頭，提不起談話的興致，隻簡略地把自己的遭遇講出來，平平淡淡毫無誇張之詞。胡雪岩仍然聽得眼圈濕潤。兩人隨便閑談一會兒，胡雪岩告辭回家。此次見麵後，胡雪岩常常見縫插針來到陽琪繡行。他們的心漸漸被往事喚起，熱情像從前一樣熾烈，情深意長。陽琪是一個精明的女人，她用自己的聰明才智替胡雪岩買了一塊南京的地皮，結果一個月後這塊地皮不斷看漲，胡雪岩也被陽琪的遠見卓識給折服了。他需要有這樣一位賢內助幫忙，更何況還是自己的心愛之人。幾經周折，胡雪岩終於如願以償，和陽琪拜堂成親。與陽琪成親後，陽琪立刻成了胡的左右手，令胡如虎添翼，有力地促進了胡雪岩事業的進一步發展。隻可惜，陽琪過早地逝世了。這多少留給胡雪岩一些遺憾。
不久，胡雪岩就遇到了另一位與陽琪極其相似，極具商業頭腦的姑娘。她就是胡雪岩身邊最重要的一位女子，陪伴胡雪岩走完人生的翠環姑娘，即當時小有名氣的“羅四太太”。
羅四太太在嫁給胡雪岩之前，叫做羅四姐，是個小家碧玉，特別能幹，在胡雪岩窮困潦倒的時候，曾接濟過他。可當時胡雪岩已有妻子，雖然彼此都有愛慕之意，卻無從結合。後來，羅四姐隨父母逃避戰亂，流離途中，父母雙亡，她嫁的丈夫又患病死了，留下她和一個女兒。年輕的孀婦，加上又是舊時相識，所以，羅四姐認為她與胡雪岩是“前世的緣分”。為了避免用“二太太”之名，卻又想不出更合適的稱呼；有個通人說：“順治年間江左三大家’之一的龔芝麓，娶了秦淮出身的顧眉生，龔芝麓的元配稱她為顧太太，仿照這個例子，拿羅四姐的姐字改為太太，有何不可？”於是，“羅四太太”就此叫開了。下人不明其理，隻當她娘家住在螺螄門外的緣故，叫成“螺螄太太”。
胡雪岩的母親胡老太太年事已高，對生意上的事並不精通，原配妻子程氏又是個老實人，自從羅四姐嫁到胡家後，羅四姐成了胡府的“掌印夫人”，她將胡府後院打理得井井有條，讓胡雪岩安心在外麵做生意，同時，她還常常為胡雪岩生意上的事出謀劃策。胡雪岩的事業日益興旺。發達之後，胡雪岩在生活上也日益墮落，羅四太太見他頻繁地出入青樓，甚至就直接就在青樓裏談生意，覺得這是一個危險的信號。於是，她采取了一個折中的辦法，支持胡雪岩多娶幾房姨太太。於是，胡雪岩盡搜美女，先後納了十一房小妾，個個美若天仙，加上羅四太太，正好十二位，號稱“東樓十二釵”。胡雪岩為這十二房姨太太揮霍掉了大量的金錢。她們分住院內長弄中各樓，按序各占一室。到了晚上，侍女端上盛有各姬妾牙牌的銀盤，胡雪岩隨手翻一個，侍女就按牌上名字叫這個姬妾侍寢，宛如皇上翻牌子一樣。胡雪岩每天早晨起床，由傭人端上用翡翠盤盛著的青黃赤白各色寶石若幹枚，讓他“養目”。每日合家大小還要去上房向他恭請晨安。胡雪岩喜歡和眾多的姬妾一起嬉戲、玩樂。他讓諸妾穿上寫著“車”“馬”“炮”字樣的紅藍馬甲，登到在高台上畫好的棋盤，紅藍對峙，胡雪岩和夫人在欄杆後用竹竿指揮她們，以人充當棋子。胡雪岩與太太口頭對弈，姨太太和仆人們依據指令，跑向各自的位置。
在胡雪岩被抄家的前夕，除了羅四太太，他的另外十一個姨太太依舊沉醉在富貴鄉裏，一個個打扮得花枝招展，滿頭珠翠，爭風吃醋，向胡雪岩賣弄風情。見此，胡雪岩歎道：我的失敗就是從納妾開始的。