不比不知道，回到宮中後趙昺更覺難受，覺得還不如在廟裏待著自由、舒坦。他大婚的消息以明旨昭告天下後，自己當下的任務就是由禮部的官員教導大婚的規矩，此外就是拆閱各處送來的賀表。那些軍中和地方的大吏皆是自己的鐵杆親信，當然也知道自己的規矩，不敢送金銀財物，隻能選些稀罕之物送來，並請旨回京希望參加盛典。
由於馬上要迎接新到的女主人，東宮也在重新整修，將原忻王府的正殿改建為慈寧宮，作為正宮皇後的住所。同時還要收拾出幾座院落，安置幾個妃子。另外每處都要配備女官、內侍和宮女，教他們學規矩，所以整個東宮有些亂哄哄的。
雖然這些雜事自有太後和王德操心，但是趙昺看著心煩，那燒的都是錢啊！於是本著眼不見心不煩的態度，他便搬到苑中的芙蓉園中的香遠堂中居住。這裏緊靠小西湖東岸，離他最喜歡的湖中四麵亭也就不足五十步的距離，不僅近水且清淨，離前朝很近，到西宮慈元殿請安也不太遠。
香遠堂雖然不大，但是對於趙昺來說以足夠寬敞，起碼比在瓊州的淡泊閣大了一倍不止。正堂在他看來有些空當，便將這裏又分割成了三個部分，正中作為會客之地，左側改成書房，右側作為寢室，後堂則用於藏書。東偏殿依舊是他的工作室，西偏殿前廳是內侍們的職事房，後廳為儲物間。
唯一讓趙昺不滿意的是名字，香遠堂一聽就是當年高宗皇帝提的，這裏住的多半是教坊司的歌舞伎們，以便於在四麵亭中宴飲時獻歌伴舞。於是乎他命人將匾額摘下來，改名為致遠堂，取‘淡泊以明誌，寧靜以致遠’之意，與瓊州的淡泊閣相呼應，以示自己不忘當年之誌。
不過這裏靠近湖塘，江南的冬天又是有名的濕冷難耐，趙昺還是命人將這裏進行改造，仿造北方宮室取暖的方式加裝了‘地龍’，利用布置在地下的煙道來提高溫度，原理與現代的地暖相似。如此一來，盡管外界寒氣逼人，室內卻仍然溫暖如春。
這日趙昺起床，推門一看昨夜竟下了一場雪，芙蓉岡上已是一片雪白，而此時雪花還在不斷的飄落，盡管天氣陰沉，天光未亮，他還是習慣的起床沿著後苑中的小路跑了一個時辰，待回來後便沐浴更衣前往西宮慈元宮給太後請安，並囑咐不要將院子中的雪掃了，他回來還要賞雪。
請安已畢，楊太後見趙昺隻穿著件薄薄的絲綿錦袍，又命人尋了件紫貂皮的袍子讓他穿上，然後留他用了早膳。吃飯的功夫也不忘說起大婚之事，並要他好生在宮中待著，不準偷溜出去，還囑咐王德好生看著陛下，出了事情拿其是問。然後又讓人拿過新近縫製的龍袍試穿，還把新製的鳳冠、霞帔拿來給他看。
趙昺盡管對這些事情不感興趣，自己也不懂其中的道道兒，但看著太後興致勃勃的樣子，與鄉間為兒子操辦婚事的母親沒有二致。想想此次大婚其拿出幾十萬貫來，這也可以說是她多年的積蓄，其身上的衣服還是前年置辦的，回到江南亦沒有舍得給自己置身新衣，眼見如此心中那點兒不滿也頃刻四散了。
今日雖不是大朝會，但依然要上殿與眾宰執集議，眼見時辰已到，娘倆兒又說了幾句話，趙昺送太後出了中門才悻悻而歸。這時雪愈發下的大了，已經積了三寸後，宮中的小黃門和宮女們在不斷的清掃路上積雪，以防止路滑傷了貴人們，見皇帝經過紛紛跪地行禮，可他看看跪在雪中黑壓壓的一片，心中又覺沉重，抬手讓他們免禮加快腳步匆匆而過。
“參見陛下！”趙昺剛剛從廊橋下走過來，便見倪亮一家在此相候。
“免禮！”趙昺緊走兩步蹲下，拉起一個孩子，拍拍其身上的雪笑著問道，“福兒，冷不冷啊？”
“稟陛下，福兒不冷！”小孩兒一本正經地施禮道。
“手這麼涼，還說不冷！”趙昺將其雙手握在自己手中焐著心疼地道。