淩家父子回來後，首先麵對的就是大小吳氏。
吳氏出自承恩公府。當初老郡王這樁婚事還是由先皇所賜。當年喝藥差點而死的那個吳妃就是承恩公家的嫡次女。
吳貴妃進宮裏後很得先皇寵愛。淩源誌的母親就是吳貴妃的妹妹。當時吳貴妃看到老郡王少年英雄，就請求先皇給自己的妹妹賜婚。
皇上一想也好，給郡王府定個國公府的小女兒也算是門當戶對。況且吳貴妃如此美貌，她的小妹妹也錯不了。於是皇上很不負責任地就把婚賜了。
當時郡王府並不想和皇室扯上關係。更不想和後宮的宮妃也扯上關係。可這婚已經賜了。沒有辦法，老郡王當時還是世子爺，就娶了吳氏為妻。
可是到成婚後，吳氏的性子也就慢慢地暴露出來，自私又不容人。其時吳氏在娘家時，由於是小女兒，又是嫡女，所以養得很是驕橫，家裏的庶姐庶妹，她眾來都不看在眼裏。
老郡王並不重女色，家裏也就隻有一個通房，是個陪自己長大的丫頭巧雲。在娶了吳氏後，被抬了姨娘。
可就這麼一個姨娘，吳氏也不能容忍。當時，淩源誌出生後，巧雲的避子湯也就停了。後來巧雲有孕，吳氏知道後一碗打胎藥打掉了還未成型的胎兒。巧雲小產後又加上傷心，一年後就病逝了。
老郡王對吳氏更加失望，沒想到吳氏這麼狠毒。連未出生的胎兒也不放過。但大兒子也隻有兩歲，吳氏當時又有了身孕。老郡王忍下了這氣口。
老郡王在長子三歲時，就把兒子接到外院。等到兒子七歲時，太子找人做伴讀，他唯恐自己將來要承爵的大兒子被吳氏教壞了，就把兒子送去宮裏給太子做了伴讀。而自己則請求去了邊關。
那時淩源輝也才四歲，一直跟著吳氏在郡王府長大。從此，老侯爺長駐邊關，再也沒回來。
後來，老郡王在邊關又納了一房妾室 ，後來生下庶子淩源行，排行第三。淩源行一直養在邊關，後來又在邊關娶妻生子。
老吳氏賜婚前，在家裏曾經和同族的一個表弟私下曖昧。吳貴妃是知道這事的。國公府的嫡小姐怎麼也得嫁一個門第差不多的人家吧，就這樣，吳妃越過父母直接請先皇賜了婚。
吳氏再不懂事，也知道皇上賜婚不可更改，就這樣不情不願地嫁了。可在她看到老郡王英武出眾之後，和自己的表弟一對比，覺得老郡王的各個方麵都是自己的表弟沒法比得上的，覺得自己嫁了一個好丈夫，還是很歡喜的。可是這老郡王在自己生了兩個兒子後就長駐邊關，從此再也沒回來。吳氏也知道丈夫這是怨上了自己。可是巧雲不就是一個妾嗎，自己是當家主母，難道連懲罰一個妾的權力都沒有嗎，這吳氏自此也怨上了丈夫。
其時老郡王隻是覺得自己的妻子太狠毒，連一個沒出生的孩子都不放過。每次對著老吳氏，老郡王都會覺得這是一個毒婦。最後終於不願再麵對自己的妻子，而選擇了長駐邊關。
這時吳氏又想起了和表弟以前的情分了。表弟家隻是小吏，她就想拉扯一下自己的表弟。就生出了把表弟的女兒嫁給自己當兒媳的想法。
老太太真是天真啊。淩家父子怎麼能同意。外甥女沒當成自己的兒媳。她又琢磨小表侄女給自己兒子做繼室。兒子不同意，不得已讓小吳氏做了貴妾。
老太太真是鍥而不舍啊。 其時老太太這樣做，也還有另外一個原因，那就是對於淩家父子，哪個她也控製不了。要是找個娘家人做兒媳，那就能把兒子掌握在自己手裏了，還能全了和表弟以前的情分。
可是淩源輝從小就和自己的母親不親，他也知道自己的父親為什麼一去邊關，就再也不回來。不是父親不想自己，而是父親不想麵對自己的母親。母親做的事情他也看在眼裏，那根本就上不了台麵。