薑家是大商賈，薑氏出嫁時帶了不少嫁妝，三房一房基本上都是靠著薑氏的嫁妝給養活的，薑氏脾氣暴躁又善妒，謝章齊平日裏都是被她壓著的。
謝章齊將謝元晟帶回家之後也是不管不顧的，由著薑氏欺壓。
謝元晟的生母在謝家是個禁忌人物，隻有謝章齊和謝老太太知道，如果說謝老太太不喜徐清月，那對謝元晟的生母是恨極了。
謝元晟的生母小翠，本是謝老太太身邊的小丫鬟，因為生的漂亮被謝老太爺討要去做了老太爺的通房丫鬟。
隻可惜謝老太爺命薄，生了一場大病去了，謝老太太最是記仇，要將小翠給發賣到青樓楚館去，可是不知怎的她又和謝章齊勾搭上了。
謝章齊偷偷的將她養在了外麵，十個月後小翠便生下了一子，謝章齊一開始一直當謝元晟是自己的兒子。
後來有一次到青樓吃花酒，聽人講了一個笑話，說是一個青樓女子，突然懷孕了，便找了自己的恩客，要求贖了她去作妾，那恩客聽了大怒，說她一個煙花女子，恩客何其之多，誰知道孩子會是誰的。
眾人皆嘲笑這青樓女子天真。
隻有謝章齊想到了謝元晟，懷疑他是自己父親的兒子，這時間上也差不多對的上，心裏更是跟吞了蒼蠅一般難受。
他左思右想沒有辦法，隻得回去將這件事情告訴了謝老太太，謝老太太更是氣的吐了血。
謝老太太心思狠毒，就想著將這孩子給弄死了算了，當時謝元晟才兩歲，但是他命大，下了兩次藥，一次毒死了一直貓，一次誤打誤撞毒死了小翠。
謝老太太心裏鬱悶不已，最後還是謝章齊心軟了，避開謝老太太將他偷偷養在外麵。
雖然心軟，但謝章齊對謝元晟也是厭惡的，便隨便找了一個婆子，在外麵租了一處小宅子養著謝元晟，偶爾想起來了會讓人送點銀錢過去。
那婆子也是個心惡的，拿了錢一開始還上點心，後來見謝章齊對孩子不上心，很少過來看他，直接將自己家裏孩子接到宅子裏住，拿著謝章齊給的銀錢自己一家人吃好喝好，把謝元晟當小廝使，什麼活計都讓他幹，更是動輒打罵，經常將他打得皮開肉綻的。
謝元晟回到謝家之後，更是沒過上什麼好日子，薑氏的打壓，老太太的打壓，以至於謝家的小輩們都能隨意的欺淩他，謝蘊桑更是經常帶頭欺負他。
因為這些經曆，給他養成了陰鬱變態的性子。
但是他這人聰明極了，一直都忍辱負重，後來通過自己的努力，三元及第，位極人臣，在官場中結識了忠毅候府的老侯爺，後被發現是他是侯府老侯爺的嫡孫子。
他剛出生的時候，被仇家偷梁換柱給換走了，後來仇家在被人追捕中不慎將他給丟下了。
丫鬟小翠本來是生了一女，本擔心女兒不被謝章華所喜歡，正好撿到了被丟棄的謝元晟，便來了一招偷梁換柱。