第二年，謝濟世突然請求外放，據他的理由是想照顧年邁的老母，朝廷特授他湖南糧儲道。做了地方官後，謝濟世老實了幾年。可三年，厄運再一次眷顧了他。乾隆六年（1741），他的小兒子誤認為父親自注的《周易》、《中庸》等書稿已經被朝廷認可，就在湖南付印。有人看到了他的這兩本書，就誣告他說，這兩本書實在是“離經叛道”，與國家提倡的程、朱思想完全不合。
謝濟世被調查，結果是書被焚毀，而他自己卻因為乾隆的格外開恩而未被定罪。可如我們所知道的，他的命運注定將坎坷不平。第二年，也就是乾隆七年（1742）秋天，謝濟世在長沙查知衡陽知縣李澎、善化（今屬長沙）知縣樊德貽違反朝廷規定向當地加重征糧。於是，乾隆八年（1743）正月，他給湖南巡撫許容寫了一份上告信，見許容沒有任何答複，他又親自見了許容，當場揭發兩知縣的劣跡。
許容所以沒有反應，是因為謝濟世所揭發的這二位知縣是他的心腹。謝濟世在第二天就接見了衡州通判方國寶。方國寶希望謝濟世對李、樊“寢息其事”，謝濟世當場給予了拒絕。見許容還沒有動靜，謝濟世在幾天後又去拜見許容，要求參揭樊、李。許容很安靜，但內心卻已經波濤洶湧，他認為謝濟世不給自己麵子也就罷了，但不至於這麼較真。於是，他先發製人，向朝廷誣告謝濟世。誣告信的內容是：謝濟世本是先朝罪臣，被貶官戍邊，今上登基後，被重新起用，他卻不思盡忠報效皇帝，卻整天酗酒遊蕩，狂妄放縱，目無上司，行為很不檢點，缺乏大臣之體；而且貪婪成性，索賄受賄，強迫市民以高價購米，浮收價銀，差額歸己等等。
這純粹是憑空捏造，許容捏造就是以謝濟世的官職為突破口的。而仔細看他的誣告內容，純粹是官樣文章，把這些內容隨便加到任何一位糧儲道的身上，都能成立。但謝濟世為人與為官都非常正直，卻絕對不可能有這樣的罪行。
山高皇帝遠，乾隆皇帝在看罷許容的奏稿後，根本沒有想過許容以巡撫的身份會行誣告之事。遂勃然大怒，下令先將謝濟世罷官下獄，然後讓湖南布政使張璨負責審訊，並派嶽（州）常（德）澧（州）道的道台倉德，代理糧儲道一職。
主審官張璨很久以來就想當許容的一條狗，但沒有機會。這一次有了機會，他立即抓住，寫了一封信托即將升任四川布政使的王玠路過嶽陽時交給新任糧儲道倉德。張璨的信的內容是這樣：在參劾謝濟世的文本中，有“該道所訪皆屬風影”句，而長沙府在審理衡陽役丁時，斛麵、地盤、票錢都說得實實在在，這與參本矛盾。張璨在信中要求倉德改換役丁口供，並撒謊說此事已跟巡撫許容商量過了。
倉德即使之前不知道這是誣陷，那麼此時被張璨要求修改數據，就不可能不知道這是誣陷了。倉德不一定是個好官，但有著起碼的官員節操。他思來想去，覺得這件事情很棘手：如按信中的要求辦，那就是同流合汙、結黨欺君，這隻大罪；如不按照信中要求的辦，那張、許二人都是他的直屬上司，“縣官不如現管”，他當然得罪不起。最後，他耍了一下滑頭，把這個不好踢的球踢給了別人。他將此事寫成書信，分別寄給他的老朋友禦史孫嘉淦和漕運總督顧琮。
孫嘉淦享有正直名聲，而且與許容是老同事，他對這件事情不是很了解，所以隻叫倉德“婉曲善處”，寢息其事。但漕運總督顧琮卻因此事關漕米，必須要重視，便將倉德的報告轉給督察院。
當時的都察院左都禦史劉統勳見到這份報告後感覺到事態嚴重，便將倉德的信及所有相關案卷，一並交於乾隆，同時派禦史胡定去湖南調查。乾隆卻認為，不過是一封信，並沒有證據證明這是誣告。所以，他就把奏稿轉交給了孫嘉淦，令其秉公審理。
禦史胡定在北京還沒有走，就聽到了許多消息。首先是湘籍在京人士議論許容是個妒賢嫉能的人，其次是聽說謝濟世被參之日，長沙街頭出現小字報，說謝濟世是“民之父母”、“正大君子”，在到湖南後，他開始細加詢訪，最終給乾隆的報告中聲稱，許容的確是在誣陷謝濟世。