就在紀曉嵐即將踏上返京征途時，突然傳來父親去世的消息。紀曉嵐悲痛萬分，急忙向朝廷告假回家奔喪。
趕回崔莊老家，紀曉嵐到靈前哭拜父親之後，著手安排殯葬事宜。
紀曉嵐的父親生性嚴峻，有威儀，教子經心。他以精深的學問，豐富的閱曆，廣博的見識和熟諳官場的練達，對紀曉嵐從讀書、治學、做人、處世、交友、為官等各個方麵悉心指導，諄諄教誨，因而紀曉嵐對父親十分敬重。紀曉嵐晚年著作《閱微草堂筆記》時，多次提到父親“先姚安公”。常說：“每憶庭訓，輒悚然如侍左右也。”
紀曉嵐追述父親種種賢德懿行，總想為亡父留存一些可供後人瞻念的遺跡，準備在廠裏村修建一座“瑞杏軒”。廠裏是紀家的一處莊園，原名宋村廠。明朝時，村邊有一座磚廠，建有七十二座連窯，專為燒製進貢的澄漿磚。人們習慣把那兒叫做廠裏，時間一長，原來的村名反倒不用了。早年肅寧老儒王德庵先生在廠裏設帳教書。紀容舒就讀於王先生門下。康熙五十二年（1713年）春天，紀容舒隨意折了一枝杏花插入水中，誰知那樹枝竟然活了。花落後結出兩個小杏，逐漸紅熟，跟樹上長的一樣。就在那年，逢萬壽恩科，紀容舒得中舉人。王德庵（又作王德安）為這事題寫了一幀匾額“瑞杏軒”，懸掛在學塾裏。
紀曉嵐回鄉葬父，想起這件舊事，去尋那學塾和匾額，可惜事隔多年，物換人非，匾額早已沒了蹤影。廠裏那處莊田在分家時落到堂弟紀昐（東白）名下。紀曉嵐打算把房子買過來，回北京後請劉墉重新寫一匾額，刻石鑲嵌於屋內牆壁上，後因自己在仕途上遭受變故，此舉未能實施。
古代製度，官員死了父母叫丁憂，需要解職回鄉居喪，以盡孝道，叫做守製，俗稱守孝。原則上守製三年，實際上隻需二十七個月，首尾相接夠三年就算滿期。丁憂守製，使紀曉嵐有暇與分別多年的兄弟子侄、鄉鄰親友暢敘別來之情，盡享天倫之樂。
紀曉嵐那位大哥紀晫（晴湖），此時已年屆六旬，成了一家之長。堂兄紀昭、紀易，堂弟紀昐、紀晊、紀旭、紀昉都在家中。兄弟之間常常聚坐長談。
紀曉嵐的父親一生娶過三位夫人。原配獻縣留福莊安氏，生子紀晫。安氏於二十九歲上病故。繼配滄州張氏，未育，於二十六歲上去世。又繼配張氏之妹，生紀曉嵐。大戶人家嫡出庶出之間，常常親疏遠近，機械萬端。由於父親善於治家，常言“世情萬變，治家者平心處之可矣”，所以紀曉嵐與前母所生的大哥相處得親密無間。大哥性格淳實淡靜，從小就提挈保護自己的小兄弟。其親密程度勝過同胞親生。在七八歲之前，紀曉嵐不知道自己和大哥是異母兄弟，年齡稍大雖然知道了，由於晨夕相處，一點也不覺得有異母的生分。紀晫一生不善鑽營，如今愈加老成持重。兄弟們談話中提及世態萬狀，人情冷暖，紀晫說：“與人交往是件很累的事，有些人為了會見客人，又整衣又正冠，說話還要字斟句酌，簡直如臨大敵，何必如此費盡心機！”
紀晫也曾涉足科舉，鄉試未得中，他也不在乎。他說，仕宦之富貴，文章之名譽，不過如流雲逝水，瞬息而沒，無所謂的。四弟你善作議論馳騁之文，我就不喜歡那樣張揚。不過你做得對，總算沒有辜負父親的期望，圓了父親的夢想。看到你博取了功名，又仕途順暢，父親生前非常高興。如今父親壽終正寢，可以含慰九泉了。
紀曉嵐跟堂兄紀昭（懋園）交談，更多的是切磋學問。二人於乾隆十二年（1747年）丁卯順天鄉試一同中舉。之後紀昭會試也未能過關，隨即在內閣任中書舍人。當時紀曉嵐在京城與一班少年才俊詩句相唱和，紀昭隻是偶爾參與，更多的時間則恬然寂寞，閉門和兩三位誌同道合的人切磋學問。乾隆二十二年（1757年），紀昭成進士。他已經在內閣幹了八年，正值宗人府主事有缺，本來很有希望升遷，但第二年紀容雅病危，紀昭便告假歸裏侍奉父親。父親死後接著守孝，後來再沒入仕，隱居鄉間研究學問，教授學生。
紀昭的文章宗法韓愈、歐陽修，學問則服膺宋五子周敦頤、程顥、程頤、張載、朱熹。他對陰陽、輿地、醫卜、算術等學科都有深入的研究。此時他正在編纂《毛詩正義》、《養知錄》、《騷經章句》、《文選賦注》等書。後來，前兩種被收入《四庫全書總目》。
紀昭生性和善，敦睦親舊，急人疾苦。早在內閣為官時，多次幫助同僚排解家中疑難。回鄉後他在村南舊園裏蓋房子。風水先生告訴他說，那塊地基正在八卦的離位上，最吉利，如果把房子蓋得高大，居住者有利，而對周圍兄弟住戶則稍微有些不利。於是他便把房子蓋低些，寧可自己不利，也決不損人利己。到了晚年在病危之時，紀昭把平生著作交給兒子汝倫，並口授五言詩一篇：
人生天地間，有生必有死。
生者動有為，死者長已矣。
勞逸固有節，否泰亦其理。
餘生薄祜相，事顧不獲己。
我欲效古人，古人不易企。
俗士之所營，我心又不喜。
徒抱耿介性，兀兀遂至此。
晚年思奮發，銳意攻其裏。
緬惟古聖心，精薈儒先旨。
先儒世不同，異論以時起。
群言日淆亂，談經經逾否。
還以衷諸聖，庶幾澄其滓。
但很才力弱，誌遠而識邇。
亦有會心時，欣然忘其鄙。
直躪古人室，相與觀無始。
服茲未曆年，時光驚逝水。
一病不獲安，二豎常依倚。
壯誌曷有極，悲哉從此已。
詩句表現了紀昭鑽研儒學經典至死不渝的執著精神。就在這次紀曉嵐守孝期滿臨回北京之前，紀昭為堂弟送行寫了一首《送曉嵐弟赴補》詩：
祖帳春園儼畫圖，新鶯求友遍相呼。
座傾賓客真輸汝，老怯津梁定笑吾。
敢道山林勝鍾鼎，無如魚鳥樂江湖。
歸途便赴鄰翁約，以備看花酒滿壺。
表現了他淡泊仕途，甘居林泉的誌趣。
居家之日，紀曉嵐逐漸從喪父的悲痛中緩解過來，盡情感受故園的鄉風野韻。多年在外曆經書山險路，宦海驚波，難得有如此安閑舒適。
他徜徉於田間林下。深秋棗熟季節，鮮紅的棗果成串成簇，壓得樹枝下墜接地。紅果綠葉之間，三三兩兩男女棗農在舉杆撲棗。棗隨杆落，滾珠跳躍，如紅雨灑地，煞是好看。紀曉嵐觸景生情，想起《詩經》裏“八月剝棗”的古韻，隨口吟詠：
八月剝棗時，簷瓦曬紅皺。
持此奉嘉賓，為物苦不厚。
豈知備贄謁，兼可登籩豆。
桂子不可食，馨香徒滿袖。
他感歎故鄉棗樹動輒成林，棗子俯拾皆是，但棗農不把它看作稀罕之物，甚至覺得招待客人都拿不出手。豈知此物早在上古時期就被用來充當晉見的禮品和祭祀的供品，遠比南方的八月桂花珍貴和實惠。可喜的是那時已有人懂得調劑餘缺，長途販運，往北用車輛運到京師，向南隨漕船捎去南方各省販賣。不少人家以此為業。
崔爾莊往南六裏，有一古鎮名叫高川。高川地勢呈魚背狀隆起，滹沱河東支流由鎮南向東繞行。那裏有一處碼頭，設有把總駐防。平原地勢平坦，一覽無餘，唯高川一帶，望去林木蔭翳，蔚然深秀。紀曉嵐聽父親說過，乾隆八年（1743年）夏天，高川村北天墜一龍。紀容舒坐著馬車前去觀看，趕到後聽說龍已經升天了，地裏的莊稼被踐踏了一大片。實際上那是下暴雨時形成的一種彎轉懸垂，宛如龍形的積雨雲。直到今天，該地的天象奇殊，2000年、2001年連續兩年盛夏之季，天降大冰塊，砸斷了幾棵盛果的棗樹。
紀氏在崔莊有一處規模宏大的宅院。院內小巷曲折，若幹處四合院毗連坐落，又有幾座小樓聳立其間。 被稱作九門九貫巷。紀曉嵐回鄉之後，在院中又修築了一所小樓。登樓遠眺，長風撲襟，彩雲入目。紀曉嵐為它取名“對雲樓”，並賦詩二首記之：
還鄉翻似到天涯，築得書樓便作家。
偶睇郊原成野趣，擬從田老課桑麻。
長夏雲峰入望深，軒開四麵好憑襟。
兒曹莫笑村居隘，兩載經營一片心。
這期間，紀曉嵐又將父親所刊訂的《家譜》重加續修，取名《景城紀氏家譜》。冠名景城，就是為了紀念始祖落籍景城，以示不忘本。譜中體例一一參照古來名家譜牒。紀曉嵐下筆記載自己的母親張氏時，措詞極其謹慎：“（容舒）元配同縣安諱國維之女……繼配滄州張諱棻第二女……繼配張諱棻第三女。誥封宜人，晉恭人，累贈一品夫人。”在《序例》中他引經據典，說“婦曰某夫人，據歐陽氏譜也”。“士庶妻亦曰夫人據朱子語類也”。“曰元配，據《晉書·禮誌》文也”。“曰繼配，據王介甫《葛源墓誌》，介甫又據《儀禮》也。不曰繼室，古之繼室非妻也；不曰中娶，不曰次配，皆僻也”。在這裏，紀曉嵐為了給作為父親第三娶的生母正名分，可謂煞費苦心。