。但是對做了四十多年官保持著未犯過一次錯誤紀錄的張廷玉來說，精神打擊卻分外沉重。他日夜提心，時時吊膽，健康大減，老態更增。年近八旬的他牙齒掉得差不多了，老年斑已經遍布麵頰。沒有人攙扶，已經無法長距離走路了。
張廷玉的身體變化，乾隆當然看在眼裏。他發現張廷玉這一年老得太快了，思維明顯不如以前清楚，說話有時也顛三倒四。乾隆皇帝看著張廷玉從警敏周密、精力超人的中年能臣變成眼前這個老態龍鍾、幾近廢物的老臣，心中也不免感歎歲月無情。乾隆十四年（1749年）十一月，在一次君臣談話中，皇帝關心地問起張廷玉的身體。張廷玉趁這個機會，詳細陳說衰疲之狀，再次試探著提出了退休。
乾隆沉吟了一下，說，我再想想，你先退下吧。
惻隱之心使皇帝破例改變了以前的決定。這個張廷玉，固然為人有取巧的一麵，但是四十多年勤奮敬業始終如一，為愛新覺羅家的家業如此不惜心血，在史上也確實罕見。如今春蠶絲盡，不如放他歸去享幾年清福吧。於是皇帝發布諭旨：“（張廷玉）乃自今年秋冬以來，精采矍鑠，視前大減，蓋人至高年，閱歲經時，輒非曩比。召見之頃，細加體察，良用惻然……強留轉似不情，而去之一字，實又不忍出諸口”，因為“座右鼎彝古器，尚欲久陳幾席，何況廟堂元老，誼切股肱？”皇帝派人把這道諭旨送到張府，說是否真要退休，聽他自行抉擇。
這道諭旨典型地體現了乾隆的風格，即把所有的道理都把握在自己手中，讓自己處於永遠正確的進退自如之地，而置他人於極難應對的地步。文字中他既表現了對張廷玉身體的關心，又說“去之一字實不忍出諸口”，表明了皇帝對臣子依依不舍。他想考驗一下張廷玉如何回複。
按乾隆的設想，老練過人的張廷玉接到這道諭旨之後，應該善加揣摸，寫上一道奏折，一方麵詳述自己確實老病，難於支持；另一方麵又深切表達自己犬馬般依戀主人的心情，說自己也實在不忍離開皇帝，雖然身體衰弱如此，也決心守在皇帝身邊，直至死去。
如果這樣，乾隆就可以再發諭旨，說他讀了張的奏折，十分感動。張的忠心可為天下人臣之表，而皇帝關愛有功老臣，特命張榮歸故裏，享泉林之樂。這樣，君臣一場，彼此應對都十分精彩漂亮，足以為天下後世所法，載入史冊，也是一段佳話。
怎奈張廷玉太老了，已經不複當年的精明。他見到皇帝的諭旨，以為皇帝已經默許了他的請求，大喜過望，當即上奏謝恩，說準備明年春天起程。
看到張廷玉的回複，皇帝歎了一口氣。這老頭是老糊塗了，還是對自己真的沒有一點感情？不過皇帝還是表現出難得的寬容和善意。他想與張廷玉有始有終。因此，皇帝優詔褒答了張廷玉，賜給他許多珍寶器物，準許他以“原官致仕”。在上諭中，皇帝還充滿感情地期待十年以後，“朕五十正壽，大學士亦將九十，輕舟北來，扶鳩入覲”，君臣重新見麵敘舊。
截至這個時刻，張廷玉的一生可以說無可挑剔，享過榮華富貴，及時平安降落，死後名垂千古。這是幾千年來大臣能做到的最高境界。
可惜，人生往往就是那麼難以捉摸。
在鄂爾泰死後，張廷玉在朝中並非一枝獨秀，而是又出現了一位勢均力敵的政治對手——大學士史貽直。此人與張是同年進士，但前期仕途遠沒有張氏順利，嫉妒之心使他轉投鄂爾泰門下。鄂爾泰去世後，群龍無首的鄂黨中的許多人聚集在他的身邊，一時之間他成了鄂黨的隱形領袖，終日以編排指摘張廷玉為事。自乾隆十三年張廷玉請求退休時起，他就開始大肆在朝中宣揚張廷玉並沒有什麼豐功偉績，沒有資格配享太廟，並多次在乾隆麵前陳說其辭。
申請退休成功後，一塊大石頭落地的張廷玉又想起了另一個問題：皇帝上一道諭旨說過，“從祀元臣，豈有歸田終老之理？”史貽直又一直鼓動皇帝取消自己的配享資格，那麼，自己這次回到江南之後，身後還能不能得到配享的榮譽呢？
從皇帝對自己的親切態度看，應該沒有大問題。可是皇帝諭旨中畢竟沒有明確宣布這一點。如果自己退居林下，在朝廷中沒有了影響力，史貽直在皇帝麵前再進讒言，乾隆耳朵根子一軟，那麼自己可就沒法吃到太廟的冷豬肉了。
想到這裏，他開始輾轉反側起來。
在家中猶豫了多日，他終於下定決心，豁出老臉，進宮麵見皇帝，請求皇帝給一個明確的表示，以杜絕史貽直等人的奸謀。
在以前，這樣的舉動張廷玉絕對是做不出來的。以“淡泊”“謙退”聞名的他一生從來沒有為自己請求過任何恩榮。做出這個決定，可見人到老年，智力結構確實會發生很大變化。
冒著深冬的嚴寒，張廷玉由兒子攙扶著，顫顫巍巍地再一次進入紫禁城，跪倒在皇帝麵前，說明了自己的憂慮，“免冠嗚咽，請一辭以為券”。
聽完了張廷玉的哀哀請求，乾隆十分詫異，也十分不快。他從沒想到這位老臣會提出這樣的要求。自己從來沒有說過不準他配享，他提出這個要求，明擺著是信不過自己。
不過，送佛送到西，為與父親留下的這位三朝元老有始有終，創造君臣相得的一段佳話，他就破例再開一次恩，給他寫個保證書吧！
皇帝同意發布恩準張廷玉配享的詔書。但回頭越想，心裏越不是滋味，他寫了一首意味深長的詩給張廷玉：
造膝陳情乞一辭，動予矜惻動予悲，
先皇遺詔惟欽此，去國餘思或過之。
可例青田原侑廟，漫愁鄭國竟摧碑，
吾非堯舜誰皋契？汗簡評論且聽伊。
這首詩大有深意。大意是說：你到我麵前，跪地陳情，請我給你一個保證。這一舉動，令我不免起了惻隱之悲心。先皇的遺詔，我當然會遵守，原本沒有什麼疑問。你離開京城，回到老家，也許會心有所思。我特準你像劉伯溫那樣，既退休，又可配享。你是否怕我會像唐太宗那樣，親手給魏征寫了碑文，又親手砸了它。我並非堯舜之君，不知道誰可配得上皋夔之臣？將來曆史怎麼評價我們君臣，還是隨它的便吧！
這首詩語氣相當不祥。結尾那兩句分明是說，你的功績原非皋夔那樣盛大，父皇讓你配享，是對是錯，我也說不清楚。這純粹是負氣之語。
得到了榮譽保證書的張廷玉興奮之下沒有因皇帝的這首詩太影響心情。他心中所有的石頭都落了地，終於可以睡個安穩覺了。皇帝破例施恩，按例第二天他應該親自進宮謝恩。隻是近八旬之人，昨天為進宮，已經折騰了一天，在皇帝麵前又應對良久，消耗幹淨了積攢了幾十天的精神。回來後頭暈眼花，身上已經沒有一絲力氣。因此第二天他沒能起來，因命其子張若澄代他到宮門謝恩。
沒想到這個小小的疏忽惹來了大禍。
張廷玉一生，對於君臣之禮，恪守極嚴。四十多年日日伴隨在皇帝身邊，從來沒有在禮數上犯過一次錯誤。因此，乾隆原以為，張廷玉第二天一早一定會早早來麵見謝恩。誰料前來的隻是張的兒子。本來已經對張廷玉不滿到了臨界點的乾隆皇帝勃然大怒。
張廷玉沒有親來，乾隆認為這一事實證明了他的設想：張廷玉對皇帝並沒有真情實感，或者說，沒有絲毫感情。在其所有要求一一得遂之後，就視皇帝為陌路，連見皇帝一麵都不願意了。
積累已久的怒火在這一瞬間被點燃。當天下午，皇帝命軍機大臣寫旨，令張廷玉“明白回奏”是怎麼回事！
當日在軍機處辦事的大臣是傅恒和汪由敦二人。汪由敦是張廷玉的門生，與張廷玉關係極深。他明白皇帝這次發火非同小可，連忙派小廝到張府，把這一消息傳遞過去，讓張廷玉有所準備。
張廷玉不知是老糊塗了還是嚇糊塗了，他做出了一個小孩子才能做出來的舉動：第二天一大早，天還沒亮，他就強支撐著，跑到了宮中，叩頭請罪。這真是一個再愚蠢不過的舉動。因為此時皇帝命他明白回奏的諭旨還沒有發到張家。此舉明白地告訴了皇帝，有人向他傳遞了皇帝發怒的消息。
軍機大臣向張廷玉泄露消息，此舉無疑是朋黨積習的一大暴露。沒想到自己打擊朋黨十多年，居然還有人如此大膽，做出這樣明顯的黨護之舉。皇帝的怒火升騰到了極點。他當麵把張廷玉痛罵了一頓，把張趕走之後，他仍不解氣，花了一天時間，親自繕寫了一篇上諭，公布天下。上諭中說：
今日黎明，張廷玉即來內廷，此必軍機處泄露消息之故。不然，今日既可來，何以昨日不來？
……張廷玉立朝數十年，身居極品，受三朝厚恩，而當此桑榆晚景，輾轉圖維，惟知自便。未得則求歸自逸，既得歸則求配享叨榮，及兩願俱遂，則又視若固有。意謂朕言既出，自無反汗，已足滿其素願，而此後再無可覬之恩，亦無複加之罪，遂可恝然置君臣大義於不問耳。朕前旨原謂配享大臣不當歸田終老，今朕憐其老而賜之歸，是乃特恩也。既賜歸而又曲從伊請，許其配享，是特恩外之特恩也。乃在朕則有請必從，而彼則恬不知感，則朕又何為屢加此格外之恩，且又何以示在朝之群臣也乎。試問其願歸老乎？願承受配享恩典乎？令其明白回奏。
……今日張廷玉之早來，則其情形顯然，朕為天下主，而今在廷大臣，因師生而成門戶，在朝則倚恃眷注，事事要被恩典，及去位而又有得意門生，留星替月，此可姑容乎？
……朕嚐謂大臣承受恩典，非可濫邀，若居心稍有不實，則得罪於天地鬼神，必致敗露。張廷玉一生蒙被異數，即使詐偽亦可謂始終能保。乃至將去之時，加恩愈重，而其所行有出於情理之外，雖欲曲為包容，於理有所不可，豈非居心不實之明效大驗耶？天道之顯著如此，為人臣者，其可不知所儆惕乎？可不知所改悔乎？
這道上諭講了這樣幾層意思。
一、既批準退休，又配享太廟，這是非常隆重的恩典。張廷玉理當親自前來謝恩，即使衰病不堪，也應該強撐病體而來。張之不來，明顯是視此“莫大之恩”為他應得的，是先皇許下的，與當今皇上沒有關係。當今皇上既然下了保證，那麼今後必有反汗之理，自己從當今皇上處所得到的好處也就到此為止，今後彼此漠不相關了。
二、張廷玉要求皇帝下保證書，明顯是信不過皇帝。這是皇帝生氣的最主要原因：“夫張廷玉之罪，固在於不親至謝恩，尤在於麵請配享。”
三、張廷玉急於求歸，是對新皇帝沒有感情，“恝然置君臣大義於不問”。張廷玉之請求退休，在沒有龍鍾之前。可見他視自己的進退出處比朝政重要，對皇帝不夠忠誠。在為官一世，“貲產足贍身家”的情況下，以“容默保位為得計”。
四、張廷玉頭一天不能親來謝恩，第二天卻早早跑來，“此必軍機處泄露消息之故”。由此他想到汪由敦是張廷玉舉薦來代替自己任大學士之位的，汪因此加以回報，這是明顯的結黨營私行為。他說，張臨走前在皇帝身邊安插親信，“留星替月”，實在陰險。
這道諭旨徹底撕破了乾隆對張廷玉“優容”的麵紗，露出了隱藏多時的獠牙。張廷玉被嚇得六神無主，在回奏的折子中極盡自責地說：“臣福薄神迷，事皆錯謬，致幹嚴譴，請交部嚴加議處。”
按照皇帝所列四條大罪，不但張氏被罷官丟爵在所難免，身係牢獄加以窮追也未可知。一旦興起大獄，則牽連張黨眾人，完全有可能掀起一場席卷天下的政治風潮。不過皇帝不想在此時搞一個全國性運動。
接到張廷玉言辭卑切的回奏，怒氣有所發泄之後，他又發布上諭說，自己一直努力包容張廷玉，這次嚴旨斥責張廷玉，主要為打擊結黨之習，並不是真要打倒他個人：（張廷玉與軍機大臣通消息之事）如果嚴訊，一定水落石出。但朕即位以來，一直包容張廷玉至此，何必因此興起大獄。但是此事不可不辯明，為何？因這關係到植黨營私的大問題……朕是何如主而能容大臣們如此植黨樹私？此等伎倆竟然敢在我麵前擺弄？張氏馬上就要退休，我再包容他一次也不難，但是我不把這件事講明白，他不但不知我保全他的深恩，還一定以為我中了他的計謀……如今張廷玉既然已經認錯，我念他畢竟是三朝老臣，不想加以大罪。
不過，既然撕破了臉皮，皇帝索性把十幾年來對張廷玉忍住沒說的話都說了出來，他直截了當地指出，張廷玉實不當配享太廟：“試思太廟配享，皆佐命元勳，張廷玉有何功績勳猷而與之比肩乎？”……張廷玉所長不過是勤快謹慎，當了一個好秘書。鄂爾泰尚有平定苗疆之功，張廷玉實在沒有什麼能拿出手的記錄。
把張廷玉弄得灰頭土臉、名譽喪盡之後，皇帝筆鋒一轉，又說，雖然張廷玉不配配享，但是他做皇帝，向來仁至義盡，隻許別人對不住自己，自己決不會對不住別人，所以並不剝奪張氏配享之資格，因為配享是先皇所賜。但伯爵是自己所賜的，張廷玉對自己既然沒有感情，何必要給他，因此要削去張的伯爵，以示懲罰。“朕不雲乎：張廷玉忍於負朕，朕不忍負張廷玉。朕之許張廷玉予告，原係優老特恩，明綸甫降，朕不食言。其大學士由皇考時簡用，至今二十餘載，朕亦不忍加之削奪。配享，恭奉皇考遺詔，朕終不忍罷斥。至於伯爵，則朕所特加，今彼既不知朕，而朕仍令帶歸田裏，且將來或又貪得無厭，以致求予其子者皆所必有，朕亦何能曲從至是。著削去伯爵，以大學士原銜休致，身後仍準配享太廟。”
這篇奇文，把對父親遺命和張氏的不屑表達盡致，卻又理直氣壯，回旋往複，三複其說，盡逞辯才。