兩人成親後，關係一直不好，酈陽公主脾氣驕縱，夏二爺生性桀驁又風流，兩人時有爭吵。隔年，兩人的長子出生，夏二爺房裏的一個丫頭也懷了身孕，公主為此大怒，讓人把夏二爺心愛的丫頭杖殺。夏二爺知曉後，把公主身邊的兩個嬤嬤也一劍殺了，裏麵有一個是公主的奶娘，在宮中也是品級的。
這事因此鬧到了宮中，夏二爺為此受了杖責。也不知是氣不平，還是因為其他什麼緣故，夏二爺杖責受的傷遲遲沒有好，拖了一個月後就一命嗚呼了。
夏二爺之死當時在洛陽傳得沸沸揚揚，有人說是被殺的兩個嬤嬤的後人出手報仇，也有人說是公主毒殺親夫。總之夏二爺死了，夏老將軍病重致仕，公主守孝一年後改嫁，嫁的是一個新興的武官，她和夏二爺生的兒子夏守知留在了夏府。
夏守知在夏府過得並不算差，成年後他沒有打算從軍，而是想謀個文職，做的還算不錯。這當口，王氏一族反了，他們軍方的勢力正是酈陽公主的第二任丈夫，酈陽公主也參與其中曾幫著聯絡過朝臣。為此，酈陽公主和她和第二任丈夫以及兩人所生的孩子都被賜死。夏守知雖沒有被波及，但不得不低調起來，甚至辭了官職一直閑在家中。
齊暄帝在成為太子前，與夏守知喝過幾次酒，哪怕酈陽公主的生母牽扯著靜賢太後之死，但他知道她不過是在替王太後背黑鍋。他與夏守知交好，也就存著與夏家示好的意思，酈陽公主與夏家已經沒有牽扯，她瞧不上夏家，他卻覺得夏家都是好的。
隻是酈陽公主畢竟涉及了謀反，連幽明郡王都受謀逆案牽連，夏守知想要繼續步步高升是不能了。齊暄帝不能把要緊的職務派給夏守知，就想著讓他來錢塘呆著。他和徐喻明也算同病相憐，應該不會為難他，若他真能做出什麼成績，再把他調到京城就是。
派他去錢塘的調令去年年底就下了，他過完年再去上任倒也使得，但他出發時帶著十幾輛車的行李，像是要長住錢塘不回來似的，讓京中的人議論一番。因為行李多了，他在路上花了不少時間，吳莎騎馬五天趕到了路，他在路上走了半個多月才到。
到了錢塘後，他也沒有去縣衙，先找了個客棧安頓了下來，才遞了帖子給張縣令。張縣令早知道他要來，一直在衙門等著，他之後的職務還沒有下來，離開錢塘後得先回京侯旨。這次調令是為了什麼，他多少也有數了，事情都這樣了，他也不再想當官了。他都想好了，一回到京城就遞呈回鄉，以後隻在家中教導子侄。
見夏守知總算是到了錢塘，他馬上派人去請，夏守知那邊卻說是舟車勞累，得第二天再上門拜訪。張縣令無奈又等了一日。第二天，等夏守知一到，他就把縣衙的事做了交接。錢塘政務簡單，豪門鄉紳也少，他要交接的事也不多。
“張大人這是急著回京？正是江南回暖之時，不多在這兒賞玩幾日再走？”夏守知微微笑道。