紀曉嵐守製期滿回到京師，因為虎坊橋的舊宅尚未贖回，一家人便暫時居住在錢香樹先生的空宅裏。
錢陳群，生於康熙二十五年（1686），卒於乾隆三十九年（1774），字主敬，號香樹，又號柘南居士，嘉興人。康熙時進士，官至刑部侍郎。他與紀曉嵐交誼很深。紀曉嵐督學福建，路過嘉興時，還曾準備訪問他，寫有《舟至嘉興擬謁鄉樹先生》，其中有“溯洄伊人無限思，一見挑燈眼定明”之句，表達了對香樹先生的懷念之情。紀曉嵐返回京師時，錢香樹先生因為疾病的緣故回歸故鄉嘉興修養，京師的寓所空閑，紀曉嵐一家人便暫時借住其中。
錢宅因為有一段時間無人居住，紀曉嵐一家住進以後，就聽人傳說屋子的樓上有狐仙居祝錢宅麵積很大，樓上老是鎖著，裏麵堆滿了雜物，也沒有人去看情況到底如何。紀曉嵐是個幽默風趣之人，他聽到這一消息後，很感興趣。於是，在樓上的壁上戲粘一詩：“草草移家偶遇君，一樓上下且平分。耽詩自是書生癖，徹夜吟哦莫厭聞。”
一日，姬人到樓上開鎖拿東西，到樓上一看，大呼怪事。紀曉嵐聽到呼叫，趕緊上樓。發現樓上地板上畫滿了荷花，莖葉苕亭，具有筆致。他更加驚奇，趕緊找來紙筆，又在壁上粘上一首詩：“仙人果是好樓居，文采風流我不如。新得吳箋三十幅，可能一一畫芙蕖？”紀曉嵐又將此事告訴了裘文達公（曰修），他聽了以後，笑道：“錢香樹家裏的狐仙，本來就應比別家的狐仙雅致嘛！”
裘曰修，生於康熙五十一年（1712），卒於乾隆三十八年（1773），字叔度，又字漫士，新建人。乾隆四年（1739）考中進士。曾經擔任過禮部、工部、刑部尚書。在治理江河方麵頗有建樹。因為其諡號為“文達”，所以，又稱他為“文達公”。他比紀曉嵐年長十餘年，又是紀曉嵐的授業老師，對紀曉嵐十分關心。返還京師後，紀曉嵐受命續修《通誌》，裘曰修將自己珍藏多年的《通誌》作者鄭樵的硯贈送給他，希望他也像鄭樵那樣，寫出一部能流傳久遠的史學著作。對此，紀曉嵐頗受鼓舞。銘其硯曰：“惟其書之傳，乃傳其硯。鬱悠乎予心，匪物之玩。”表明了自己的心跡。
乾隆三十三年（1768），朝廷擬讓紀曉嵐補授貴州都勻府知府。乾隆帝則認為紀曉嵐之所長在於學問，而不在於為政，外出為官難以發揮他的才幹。所以曉諭有司，命加四品銜，留任左春坊左庶子。四月，又擢翰林院侍讀學士。
這年春天，紀曉嵐替人題《蕃騎射獵圖》。詩歌寫道：
白草粘天野獸肥，
彎弧愛爾馬如飛。
何當快飲黃羊血，
一上天山雪打圍。
這本來是一首題畫詩，就畫作詩，並無深意。但是，令人不解的是，就在這年的八月份，紀曉嵐被謫貶到西域，正好與詩歌中的：“何當快飲黃羊血，一上天山雪打圍”句暗相應合。這豈不是他自己遭貶謫的讖語嗎？
果然，七月份，紀曉嵐身陷鹽案。八月份，紀曉嵐因為徇私漏言，被革職遣戍烏魯木齊。
紀曉嵐所謂的“徇私漏言”，指的是“兩淮鹽引案”東窗事發時，紀曉嵐私自將朝廷擬查處江淮鹽運使之事私下裏透露給了他的姻戚盧見曾，使之早作準備。當朝廷官員前來查處時，盧見曾預先知道，已作準備，結果朝廷官員一無所獲而歸。此事令乾隆帝大傷腦筋，推測其中肯定有人泄密，最後追查到紀曉嵐頭上。按照大清刑律，紀曉嵐是要遭殺頭的，但乾隆帝因為惜才，才下令從輕處罰，改為謫貶烏魯木齊。
為了更清楚地了解紀曉嵐遭貶謫的原因，有必要介紹一下“兩淮鹽引案”的過程。
在中國古代社會，鹽是一種由政府控製的重要商品，也是封建經濟的重要來源。官府主要通過“鹽引”從中獲利。所謂“鹽引”，指的是朝廷發給鹽商準許他們經營鹽務的憑據。清朝以來，政府專門在產鹽的省份設立鹽政、運使等官負責辦理鹽政事務。從鹽商手裏收取的交易手續費也稱“鹽引”。按照當時的規定，每二百斤鹽得提取銀鹽三兩。兩淮鹽政每年至少收繳二十多萬兩銀鹽，多時達到五十餘萬兩。這是一個很大的數目，也是當時官員腐敗的淵藪。
“兩淮鹽引案”起於清朝官員尤世拔出任兩淮鹽政的乾隆三十三年（1768）。據史料記載，尤世拔上任以後，風聞鹽商積弊，居奇索賄，未能得逞。於是便向上奏稱：
“上年普福奏請預提戊子綱引，仍令每引交銀三兩，以備公用，共繳貯運庫銀二十七萬八千有奇。普福任內，所辦玉器古玩等項，共動支過銀八萬五千餘兩，其餘見存十九萬餘兩，請交內府查收。”
朝廷接到尤世拔的奏章以後，立即產生懷疑。因為此項銀兩，曆任鹽政，並未奏聞，便私行支用。檢查戶部的檔案，也無造冊派用文冊。而且，自從乾隆十一年（1746）提引後，二十年來，銀錢數已經超過千餘萬兩，其中顯然有蒙混欺蝕情弊。於是，秘密地派遣江蘇巡撫彰寶會同尤世拔詳細清查。經過調查核實：曆年預行提引，商人交納引息銀兩，共計一千九十餘萬兩，均未歸公。前任鹽政高恒任內，查出收受商人所繳銀至十三萬兩之多；普福任內，收受丁亥綱銀私自開銷者八萬餘兩，其曆次代購物件，見端開者，不計其數。乾隆帝得彰寶的奏報，大為震怒。下令革職查辦所有涉嫌官員，並特別指示“將盧見曾原籍貲財，即行嚴密查封，無使少有隱匿頓寄。”（《清高宗實錄》卷八一三，乾隆三十三年六月下。）
盧見曾，生於康熙二十九年（1690），卒於乾隆三十三年（1768），字抱孫，號雅雨山人，山東德州人。康熙六十年（1721）辛醜科進士。形貌矮瘦，不拘小節，時人稱之為“矮盧”。他為人豁達，海內名彥都願意與之交往，曾“築蘇亭於使署，日與詩人相吟詠，一時文勝於江南。”紀曉嵐與盧見曾為姻戚。盧見曾的孫子盧蔭文是紀曉嵐的長女婿。平素兩家多有往還。據《高宗實錄》、《東華續錄》等文獻記載，這時候，紀曉嵐在朝中擔任侍讀學士，“常直內廷”，對於朝廷查處兩淮鹽引之事，“微聞其說”，特別是此案牽涉到盧見曾，他更是心急如焚。六月十三日，紀曉嵐見到女婿盧蔭文，告知兩淮鹽務有小菜銀兩一事，現在查辦。盧蔭文則於六月十四日派遣家人送信回家。
不久，盧蔭文又見到郎中王昶。王昶告知他朝廷所辦的並非小菜銀兩一事，乃曆年提引事發。隨即他又雇人回家送信。後來又見到刑部司員黃駿昌，傳說高恒已經被查抄家產，其叔盧謨心懼膽怯，於六月二十七日回家。盧見曾因此“先得消息，藏匿貲財”，當清廷官兵前往家中查抄時，“盧見曾家產僅有錢數十千，並無金銀首飾，即衣物亦甚無幾”。
關於紀曉嵐“漏言”之事，民間還有一些更加生動有趣的記載。據說紀曉嵐得知朝廷將要查鹽案之事，十分著急。心裏充滿著矛盾：想要通知盧家，又懼怕此事牽涉到自己，引火燒身；不告知此事，又昧不過自己的良心。為了此事，他輾轉反側、徹夜難眠。最後，他想出了一個兩全其美的辦法：用一個空白的信封裝了一點食鹽和茶葉，連夜派人送至盧家。盧見曾收到紀曉嵐送來的信，打開一看，隻見裏麵沒有一個字，隻有一點茶葉和鹽。開始他很納悶，驚愕不解。細細地揣摩，他馬上頓悟出來：這空白的信中隱含著“查（茶）鹽（鹽）”的玄機。於是，他馬上行動，將剩餘的貲產轉移到別的地方。等官兵查抄家產時，其財產已經所剩無幾。
當查抄的官員將查抄的結果上奏朝廷時，乾隆帝十分震驚：“查封盧見曾家財廷寄於六月二十五日弛發，而初次查辦此案諭旨並未傳抄，伊家何以早得風聲，於十一、十八等日豫先寄頓？其中情節甚屬可惡，豈有旨未到而外人已知之理”，下令“必須嚴切究審。”（《高宗實錄》卷八一四，乾隆三十三年七月上。）經過仔細地調查偵緝，終於發現紀曉嵐等人為“漏言之人”。
紀曉嵐很快被軟禁起來。在押期間，紀曉嵐生死未卜，心裏焦躁不安。
有一姓董的軍官聲稱自己能夠拆字，為之占卜命運前程。他將信將疑，順手書寫了一個“董”字。
姓董的軍官仔細看了看字形，說：
“公遠戍矣，是千裏、萬裏以外。”
紀曉嵐又寫了“占”字請他拆。
“下為口字，上為外字偏旁，是口外矣。日在西為夕，恐怕是在西域”。姓董的軍官回答說。
“將來能回來否？”紀曉嵐問道。
“其字形類似君召，召則必然賜環也。”
“何年能召環？”紀曉嵐又接著問道。
“口為四字之外圍，而中間缺兩筆，大概不足四年。今年為戊子，四年後為辛卯，夕字卯之偏旁，也是相合的。”
紀曉嵐雖不太相信，但心想如今犯了大罪，這次恐怕是難得寬赦了，要是硬著頭皮不招，一旦案情被查明，那將是死罪一條！我不如見風使舵，或許能從輕發落，至多遭受貶戍之罪。不久，劉統勳等又奏報審訊盧見曾隱匿家財一案的處理意見，說先後查出盧見曾的門生候補中書徐步雲，其親戚翰林院侍讀學士紀曉嵐，軍機處行走中書趙文哲，軍機處行走郎中王昶，擅自泄漏機密，照例擬徙；其刑部郎中黃駿昌口傳消息，已經革職。乾隆對這些處理建議批示說：“徐步雲和盧見曾是師徒關係，遇到這種重大案件，竟然私通信息，以至於盧見曾將家產轉移他處，情節惡劣，發往新疆伊犁效力贖罪，其餘的就按照所議辦理。”
據說，第二天，乾隆召見紀曉嵐問話。
“微臣紀昀，叩見皇上。”紀曉嵐說。
“嗯，站起來回話。”乾隆皇帝清臒的麵孔上，掛了一絲冷峻的神情。他捋了捋稀疏的胡須，慢吞吞地說：“你的兒女親家盧見曾，虧空公帑，按律應予籍沒，你可知道？”
“微臣知道。”紀曉嵐答道。
“可是奉旨到盧家查抄的人，發現他已家無長物，資財已轉移到別處去了，挪用的公帑，也在查抄的前夜如數補上。朕看在你的麵上，格外開恩，從輕治罪。”
“謝萬歲爺隆恩！”紀曉嵐跪下磕頭。
乾隆接著說：“紀昀，你才學過人，忠心事朕。朕對你也垂愛已久。據報，這次是你泄的密，有無此事？你如實奏來。”
“聖上明鑒，臣實未曾有一字泄密。”紀曉嵐臉上帶著微笑，但十分謹慎地為自己辯解。
“案情已經調查得很明白，”乾隆說，“你雖未寫一字、未傳一言，但事實俱在，人證確鑿，掩飾也無用。朕要知道的是你究竟用什麼辦法，將這些事泄露給盧見曾的？如實招來，朕可以從輕發落。”
紀曉嵐看自己再否認也無益，索性坦承其事，便把如何通知他親家的經過說了一遍。
乾隆一麵聽，一麵頻頻點頭。
這時紀曉嵐自動摘下頂戴，跪在地上奏道：“皇上嚴於法，合乎天理之大公；臣惓惓私情，猶蹈人倫之陋習。臣請聖上發落！”紀曉嵐的話雖然不多，但講得十分得體，乾隆聽了臉上浮現出笑容。皇上念紀曉嵐才華難得，又在內廷走動多年，不忍加戮於他，便在案卷上批下幾個小字：“紀昀從輕謫戍烏魯木齊。”
關於紀曉嵐泄漏鹽案的途徑，還有另外一種說法。
據李伯元《南亭筆記》記載，當查抄盧家的消息傳出時，紀曉嵐正在內廷，不知如何通報，忙把他的小兒子叫到身旁，在他手上寫了個“少”子，叫他趕去盧家，以掌中的字給盧見曾看。盧見紀曉嵐小兒子的手上寫一個“少”，頓悟手字加“少”為一“抄”字，於是急忙做準備。
此說當然也是表現紀曉嵐的機智，但從實情看，可能性很小，因為紀曉嵐的小兒子無職銜，不能隨便入宮。此外，盧家遠在山東德州，距離遙遠，紀曉嵐的小兒子無人相伴，也無法成行。所以，這也隻是想象附會而已。
紀曉嵐作為一名罪人將發配到新疆，在那裏經受歲月的洗禮。同是遠行，這次到邊塞地方，與他督學福建時情景是全然不同了。紀曉嵐與家人見麵，才得知八十歲的盧見曾已經死在獄中，與此案有牽連的，共有一百多人獲罪，被處斬的即有二十多人。
紀曉嵐雖幸免一死，但此時心中有一種說不盡的淒涼之感。
在親友的幫助下，紀曉嵐將家眷安頓好，準備在中秋過後，隻身出塞服罪。這段日子裏，一家人愁眉苦臉，不勝悲哀。此去關山萬裏，何日才得平安歸來，實在難以預料。有些人就此一去不返，埋骨異域了。人生世事變化無常，紀曉嵐慨歎不已，不斷想起董某為他拆字時說過的話，他是多麼希望能夠全部應驗啊！他有些相信命運了。他想：“冥冥之中，造物主對萬事萬物已做好了安排，誰也逃脫不了啊！”但同時他又疑惑不解，若說董某的話已經初步應驗，那自己的話不也是同樣能夠應驗嗎？他想起春天曾經替人題畫的事情來。
那幅畫是一個朋友畫的，畫名叫《番騎射獵圖》，隻見塞外秋日圍獵的景象，躍然紙上，看了讓人心胸開闊、豪情滿懷。於是他欣然答應朋友的請求，在畫上題下了一首七言絕句：
白草黏天野獸肥，
彎弧愛爾馬如飛。
何當快飲黃羊血，
一上天山雪打圍。
這首詩他題過就忘了。如今事隔半年，自己當真要謫戍新疆，“一上天山雪打圍”了。
在為紀曉嵐送行的家宴上，郭姨太流著眼淚說：“老爺，是我害得你落到這步田地，聽人說新疆那個地方苦極了，不光不產糧食，就連蔬菜也沒有，吃的都是羊肉炒蘑菇，如果你吃膩了，就給你換個樣兒，改成蘑菇炒羊肉。聽說那兒淨是沙土，天天風刮黃土，吃飯的碗裏都有半碗沙土。這樣的日子，老爺你怎麼受得了哇！”說罷嗚嗚地哭了起來，家人們也跟著墜淚。紀曉嵐雖然心裏也很難過，但為了安撫家人的心，卻哈哈地笑道：“你這話說錯了，我雖然吃了官司，卻無性命之憂，可是救了盧親家一家人。如不是這樣，他們一家男的被殺了，女的被官賣為奴，那時我們比這還要難過呢。”停了一下，又說：“況且古人有雲：讀書萬卷，行路萬裏。我萬卷書是讀了，可萬裏路還沒走。前幾年去了一趟福建，長了不少知識，可是還不夠一萬裏，再去一趟新疆，就差不多夠一萬裏了。你們應當為我慶賀才對。來來來，幹杯！哈哈哈哈……”由於紀曉嵐的巧言勸說，家人的心情也就輕鬆多了。
中秋節剛過，紀曉嵐就與家人灑淚而別，以戴罪之身，束裝起行了。一路西行，荒山大漠，莽原叢嶺。紀曉嵐在差役的押解下，風餐露宿，備極艱辛，心中苦悶難熬，一直思念家中的妻子兒女，悵惋世事無常，人生艱難。不過，一路風景倒給了他幾分享受。西出玉門，他飽覽了“衰草連天”和“大漠孤煙直”的塞外景象，覺得古人的描繪和自己以前的想象，終究不如眼前展現的真切豐富，更深切地體會到“醉臥沙場君莫笑”的淒愴悲壯的心態。
在前往新疆的路上，雖然辛苦，但由於紀曉嵐家中有錢，一路之上，不斷買些酒肉請兩個解差，又不時給他們買件衣服，買雙鞋子，因此兩個解差高高興興，不但不來恐嚇、刁難紀曉嵐，反而給他拿行李，使紀曉嵐輕鬆了許多。他們一路之上，饑餐渴飲，曉行夜宿，頂風冒雨，走了幾個月。