就是說張廷玉頭一天不能親來謝恩，第二天卻早早跑來，這肯定是軍機處中有人泄露消息的原因。汪由敦當初是張廷玉舉薦的，汪由敦因此和張廷玉相通消息，這明顯是結黨營私的行為。張廷玉臨退休前，索要了所有好處，然後舉薦汪由敦這樣的人當大學士，這是要在皇帝身邊安插親信，“留星替月”，實在是太陰險了。因此乾隆宣布，“著削去伯爵”，削去張廷玉的伯爵爵位，以示懲罰。汪由敦呢，也被革去了大學士之職。
既然撕破了臉皮，乾隆索性就把十幾年來對張廷玉忍住沒說的話都說了出來，他直截了當地指出，張廷玉實在不應當配享太廟：
試思太廟配享，皆佐命元勳，張廷玉有何功績與之比肩乎？（《清高宗實錄》）配享太廟的，都是做出特別巨大貢獻的人，你張廷玉，有這個資格嗎？
說完這句話，乾隆又把曆代配享之臣列了個名單，送給張廷玉閱讀，並讓他明白回奏，你比得上這些人嗎，配得上配享之榮嗎？
乾隆這一問，七十八歲的老臣張廷玉還能怎麼回答？他隻好回奏說：
臣老耄神昏，不自度量，於太廟配享大典，妄行陳奏。敢懇明示廷臣，罷臣配享，並治臣罪。（《清高宗實錄》）
就是說，我年老糊塗，犯了大錯，現在我請求皇帝罷去我的配享資格，並且治我的罪。
乾隆說，好，這可是你自己說的。於是明令取消了張廷玉的配享資格，把他趕回了老家。張廷玉為了這個“配享”啊，奮鬥了一輩子，沒想到最後，還是栽在了這個上麵。他費盡苦心要平安收場，沒想到，最終卻丟了伯爵和配享兩項榮譽，一生的臉麵，付之東流。
處理了張廷玉之後，乾隆終於出了一口氣，他如此羞辱張廷玉，就是為了告訴大家，張廷玉已經徹底失寵了，以後誰也別再想攀附他了。果然，滿朝大臣都嚇得噤若寒蟬，張廷玉出京的時候，居然沒有一個人敢給他送行。可見乾隆打擊朋黨，確實是起了作用了。
乾隆十五年（1750年）春天，張廷玉灰頭土臉地回到老家。從想退休的那一天開始，張廷玉就無數次地設想自己“衣錦還鄉”那一時刻的風光場麵，在他想象中，他這樣的重要人物回到老家，那一定是轟動性場麵。沒想到，實際情況卻是非常尷尬。地方大員們為了避嫌，沒有一個人出麵迎接，隻有一位侄子，帶著幾個家人，抬著一頂小轎，把他接進了祖上的老屋。
張廷玉感覺特別羞愧，回到老家後就閉門在家，很少見客。在家裏整整休息了一個月，才有心情拄著拐杖，外出散散步。好在故鄉的山水風光，是對老年人最好的安慰。幾個月過去後，張廷玉把心理漸漸調整過來了，心情也慢慢開朗了點。
然而，噩運卻並不甘心到此為止。就在張廷玉心情好轉些之後，朝廷中又出了一件事：他的兒女親家，四川學政朱筌，犯了貪汙罪，被乾隆抓起來了。
這件事發生得真不是時候。一抓起朱荃，乾隆就想到了張廷玉。因為朱荃最初被提拔起來，就是因為張廷玉的舉薦，何況後來張廷玉又和他做了親家。朱荃成了貪汙犯，張廷玉顯然當然舉薦有錯誤。乾隆一生氣，決定，收回以往三代皇帝對張廷玉的一切賞賜物品，以示對張廷玉的懲罰。
根據《清高宗實錄》記載，乾隆十五年（1750年）七月，乾隆派出了一個自己特別信任的人，內務府大臣德保，去執行這個任務。德保出門之前，乾隆特意把他召進宮內，在他耳朵邊秘密囑咐了幾句話。
那麼這一年八月，欽差大臣德保來到了張廷玉家。張廷玉率領全家，跪在門口迎接。他早早就遵旨，把康熙以來，三朝皇帝賞賜給他的一切東西，包括字畫、珠寶，以及衣服器物什麼的收拾到一起，打包準備交給德保。誰也沒想到，德保身邊不但帶了十多名隨從，還從知府那裏，借來了二百名士兵。德保說，你這些東西全不全哪？他要檢查一下，有沒有遺漏的賞賜物品。這二百士兵顯然都有充分準備，進了張家，不由分說，開箱砸鎖，挖地三尺，居然抄了張廷玉的家。張廷玉一家人目瞪口呆，隻能眼睜睜在旁邊看著。
好在張廷玉的清廉並非虛言。抄了半天家，也沒抄出什麼財產。事實證明，張廷玉是個清官。不過，德保卻帶走了抄家過程中翻出來的所有帶文字的東西：什麼書籍、文章、信件，乃至張廷玉寫的便條，都帶回了北京。
原來，德保出京之前，乾隆在他耳朵邊囑咐的，是到了張家，一定要借查找皇帝賞賜字畫之名，嚴格檢査張廷玉的私人文件及藏書，看看其中有沒有對乾隆的不滿之詞，看看這個老家夥是不是敢私底下罵我。
把這些文件帶回北京，細細審查了半個月，德保一無所獲，他對這位張閣老不禁佩服得五體投地。張廷玉是一個文臣，進士出身，文人嘛，誰也保不住心情不好的時候，會用文字發泄一下，也保不住會在書信日記中，品評品評當朝人物，說幾句牢騷話。特別是那些當過大官的，回老家之後，都愛寫寫回憶錄什麼的，記錄點高層政治的秘密。但是張廷玉卻沒有這樣做。在他的數百封私人書信中，沒有一字涉及政治。張廷玉回家後確實編了一本《年譜》，也就是我們現在可以看到的《張廷玉年譜》，不過，這本《年譜》中，他隻是詳細記載了三朝皇帝對他的“恩遇”“賞賜”，雖然細到哪一天皇帝賞了他幾塊薩其馬，給他一個小荷包，卻沒有一字，涉及對朝政的品評。德保雖然素知張廷玉以謹慎聞名，不過他沒有想到，會謹慎到這樣的程度，簡直都成了精了。正是這樣的謹慎，讓張廷玉逃過了一死。要知道，這次抄家，如果稍有把柄，張廷玉就必然要身首異處。
對三朝老臣，由收繳賞賜之物變成了抄家，這一舉動引得朝廷上下一片驚疑之聲。毫無收獲的乾隆皇帝也覺得這事做得沒有什麼意思，後來不得不下了道諭旨，說是德保弄錯了皇帝的旨意，他並沒有命人抄家。不過，大家誰都心知肚明，抄家是何等的大事，德保不弄清楚情況，怎麼敢貿然抄一個三朝元老的家？就算德保是真的糊塗弄錯了，乾隆後來為什麼沒處分德保，反而還升他的官呢？事情明擺著，就是皇帝想置張廷玉於死地。
雖然逃過了一死，但經過一次抄家，張廷玉的名譽卻徹底掃地了，在政治上已經死亡。經過這場問罪，張黨完全被擊垮了。門生故吏都最終確認，張廷玉在政治上，絕對沒有翻身的機會了，因此如樹倒猢猻散，各尋出路，從那之後，再也沒有人敢登張廷玉的門，張黨終於不複存在了。乾隆打擊朋黨，終於以全勝結局。這一事件，奠定了乾隆中期以後，再也沒有朋黨活動。我們觀察中國曆史，漢唐宋明，這些著名大王朝，朋黨之爭都非常激烈，但是清代乾隆中期之後，朋黨卻徹底銷聲匿跡了，直到嘉慶道光兩朝，也沒有顯著的朋黨活動。可以說，乾隆是中國曆史上治理朋黨問題最成功的皇帝。
修煉了一輩子臣術，最後還是一敗塗地。經過這場打擊，張廷玉徹底灰心喪魄。他每天傻呆呆地坐在家裏，一整天一句話也不說。乾隆二十年（1755年），回到家中苟活了五年之後，張廷玉終於死了。
消息傳來，乾隆也感到一絲悲痛。畢竟他們君臣相處了十四年，回想起張廷玉一生的所作所為，他感覺自己對張廷玉確實苛刻了點。畢竟，張廷玉為大清辛辛苦苦工作了近五十年。於是乾隆皇帝又做出眷念老臣的姿態，宣布寬恕張廷玉的一切過失，仍然命他可以配享太廟，讓他和雍正做伴去了。隻是不知道張廷玉死後還能否知道這一切。
那麼到了乾隆四十四年（1779年），乾隆曾寫了一篇文章，回憶自己駕下曾經工作過的五位大學士。其中關於張廷玉，乾隆寫了這樣一段話：
張廷玉雖有過，餘仍不加重譴，仍準以大學士銜休致，及其既卒，仍令配享太廟。餘於廷玉曲示保全，使彼泉下有知，當如何銜感乎？
翻譯成白話文就是：張廷玉雖然犯了錯誤，我沒有嚴懲他，仍然讓他退休了。及至他去世之後，我仍然允許他配享了太廟。我對張廷玉是如此的優容，如此地好，如果他地下有知，是不是得感激得在地下還要再死一回啊？