兩個月後，任平沙告別恩師，攜嬌妻往湖州赴任，任鹽政副提舉，這算是個肥差，卻被任平沙做的讓人扼腕歎息，他不僅兩袖清風，清貧如初，還開罪了多個豪富的鹽商，這些鹽商背後都有當朝權貴的影子，得罪了他們，任平沙在朝內成了很多人的肉中刺。
上任三年後，由鹽運司考滿稽核，說任平沙在任上雖政績頗著，鹽務收入比三年前增加了七百萬兩，但卻非循規蹈矩的“循吏。考滿落入了下等，評語說他“自視太高，賣弄智巧，威嚴，對鹽商苛刻凶悍，與上司同僚交惡，不易在此位上留任。”
正值餘杭一帶倭寇盛行，燒殺搶掠，很多鄉紳地主家都被劫掠一空，樓州府換了三任知府，都無力對抗倭賊，有人趁機提議，非常之地需用非常之吏，任平沙若能把威嚴、機巧用在倭寇身上，興許會有所成就。
於是任平沙被調到江寧府任同知，輔助知府，處理鹽、糧、捕盜、江防、海疆、河工、水利以及清理軍籍、撫綏民夷等事務。
任平沙親自參與操練，強壯海師，兼用計謀收服倭寇最大的力量。一年之後，倭船與江寧秋毫無犯。因百姓知他公正廉明、威製豪強，都對稱頌不已，名望要蓋過知府周左達，周左達為官多年，是個因人成事的老官。已近花甲，隻想左右逢源，為子女謀個好前程，安然致仕，不要惹上什麼麻煩。
任平沙血氣方剛，倭寇已退，便將精力轉移到內治上來，布施恩德，安置流民，嫉惡如仇，不考慮個人進退，因此又得罪了一幫權貴。周左達十分頭疼，生怕他連累自己。
有人秘密上奏，稱任平沙經常自恃功高，臧否朝政。任平沙稱倭寇之亂，實是閉關禁海政策所致，稱海禁不廢，倭寇及走私很難廢除雲雲。還說任平沙與倭寇私自達成協議，允許他們在江道與百姓交易，抽取商稅，中飽私囊。
京城一片嘩然，平日裏被任平沙得罪的權貴，紛紛上書指責，落井下石。聖玄皇上專心修仙，早已不問朝政多年。內閣經過評議，下令將任平沙發配極北，去做驛丞。
任平沙將妻兒送回京城，由師傅照料，一路顛簸，腹中第二胎已有七個月的遙墨本就十分虛弱，還要照顧五歲的兒子，一回到家，便提前誕下了女兒，臨行時，憔悴的孟遙墨拉著任平沙，淚眼婆娑，“哥哥，我不能去伺候你了，你要好生保重。”任平沙每每想到那是遙墨與他說的最後一句話，都要心痛哽咽。
一個月後，他接到師傅的信，說遙墨染了產褥之症，仙去了。他和師娘，會好好照顧兩個孩子，並說請了術士來看，術士說遙墨乃仙子下凡，本就不會在人間久待，讓他不要太過傷心。
仕途失意，發妻病故，任平沙幾乎被打垮，他拚命讓自己又忙又累，無暇自憐，才苦撐過了那段暗如穀底的時光。
在極北的幾年，除了每月給師傅和兒子寫信互報平安，任平沙刻意讓自己不去想過去的種種，但此刻離家越近，之前的一幕幕越清晰的浮現在他眼前。讓他每一步都重如千鈞。
任平沙與遙墨成親之時，師傅幫他們在自家旁邊買下一座小院，也算是獨立門戶之意。他無數次夢見遙墨獨自守著荒草叢生，破敗不堪的小院，垂淚等他歸來。他雖知道兩個孩子一直住在師傅家裏，卻還是先繞回那小院。
“吱呀”，門開了，熟悉的院子裏，一大一小兩個孩子正在嬉戲打鬧，男娃已快長到任平沙胸口了，那小女娃尤其漂亮可愛，眉眼神情像極了遙墨，任平沙的眼眶一下就紅了。
“姐夫！”正房門口站著一位亭亭玉立的豆蔻少女，玉骨冰肌，唇紅齒白，臉龐竟有幾分似亡妻的模樣，心知那是已長成大人的小姨亦歌，心卻還是禁不住顫了一顫。
亦歌驚喜地招呼兩個孩子，“你們看是誰，還不叫爹？”
大兒子任有唐忙說，“爹，您回來了！”上前抱住任平沙。他自五歲起就與父親鴻雁傳書，剛開始是把自己所學所想繪於紙上，現在已能通順的寫幾百字的信箋了，語氣宛如大人。
像畫上小仙女一般可愛的任可語卻躲到了小姨亦歌的身後，嘴裏卻叫著，“娘，他是我爹嗎？可語不認得。“