康熙四十三年（1704）四月，三十三歲的張廷玉被康熙召至暢春園，康熙親切地詢問了張英的身體狀況。當日張廷玉奉旨侍值南書房，特旨帶數珠，著四品官服色。十二月，康熙又親賜“福”字與對聯一副，這是漢人大臣中少有的恩寵。此後，康熙不管是巡遊江南，還是避暑熱河，秋狩塞外，張廷玉“皆珥筆以從”。至四十五歲時，張廷玉被擢授內閣學士兼禮部侍郎，開始進入內閣處理政務。
康熙去世的第二天，雍正就提拔張廷玉辦理翰林院事宜。在康熙葬禮期間，張廷玉顯示了自己出色的文書功底。雍正守靈時席地而坐，晨夕涕泣，有臣子入內奏事，則臨時口授大意，張廷玉就伏在地下以筆書寫，稿成後立刻呈給雍正瀏覽，每日不下十數次。
雍正對張廷玉的表現極為滿意，私下對他道：“以前做皇子時，不大好與朝內大臣交結，一直聽說過你的名字，卻未曾謀麵。現在見了你，發現你氣度端凝，應對明晰，朕心裏很是歡喜，吾師有子矣。”
對喜歡的臣子，雍正的肉麻話是一套套的，現在喜歡上了張廷玉，自然也少不了肉麻一番。雍正對張廷玉道：“你一片忠心，辦事敬誠，真是個偉器！你是父皇康熙培養出來的，你要到棺材前磕頭感謝。”雍正這麼一說，張廷玉又要涕淚縱橫地在康熙棺前表演一番了。
雍正七年，軍機處創設。允祥擔任首席軍機大臣不久便去世，遂由張廷玉接任。張廷玉在任時，奠定了軍機處的基礎，使得軍機處成為維係清廷統治的重要支柱，如後人所言，“軍機處初設，職製皆廷玉所定。”
中國傳統政治的運作，依賴於文官與文書。明代的文書製度層次混亂，效率低下。清初予以改革，形成了三種文書製度，即“題本、奏本、奏折”。
題本、奏本是正式的文本，使用麵廣，上至督撫，下至州縣衙門，均依照格式施行。此套文書係統弊病也多，一來大小官員均可上題本、奏本給皇帝，皇帝根本無暇處理。再者題本、奏本須依照固定格式書寫，然後由通政使司轉送，轉送時還需要經過內閣擬定處理意見之後再轉交皇帝。一層層的轉送過程中，既缺乏效率，也不容易保密。而最關鍵的一點，在文書送達皇帝之前，須經過內閣處理，再交給皇帝，這無形中削弱了皇帝的權威。
奏折是秘密行文製度，它不是正式的公文，由親信官員直接呈送給皇帝，速度快，保密性強，在康熙時很受重視。但奏折也存在問題。奏折製度未規範化。受到皇帝信任的官員可以直接上奏，如江寧織造曹寅可以直接上奏，而地方大員則不能，如此職權劃分混亂。
軍機處創設後，經張廷玉改革，奏折成為一種正式製度。張廷玉訂立規製，凡是臣子奏報一般事務，用疏，由通政司遞交，皇帝的回複則由內閣擬旨。奏報重要事務，用折，由奏事處遞交，這樣奏折就成了正式文書。奏折是直接上奏，省去了中間的流通環節，保密性強。借助奏折製度，皇帝可以直接控製國內一切事務。更重要的是，通過奏折製度，各級官僚彼此監督，可以分散權力，防止結黨，有利於強化皇權。
在張廷玉的主持下，廷寄也成為了正式製度。廷寄也稱廷寄諭旨，它的特點一是保密，二是高效。軍機處建立後，在張廷玉的主持下，軍國大事，凡歸軍機處辦的事情，不論大小，均在當日辦完，絕不積壓。軍機大臣當麵聆聽皇帝指示，草擬文書，形成諭旨，不經內閣，由軍機處直接發下。
諭旨由軍機處密封，函麵上書“辦理軍機處封寄某處某官開拆”或“傳諭某處某官開拆”。軍機處用寄信的方式，將廷寄直接送達負責臣子，不經過中間環節，保密性強。密封好的廷寄交給兵部，依據內容的緊急程度決定投遞日行裏數，書寫“馬上飛遞”的上諭，由各地驛站日行三百裏遞送，最為緊急的事務，以六百裏加快遞送。廷寄到達後，須由受命者本人拆閱，不許其他人代拆。閱完諭旨後，受命者要將諭旨到達的時間、諭旨的內容、如何辦理，再向皇帝回奏。
“廷寄”製度建立後，內閣被徹底架空。此後，內閣不過是頒發一些象征性的重大政令，如宣戰、議和、大赦、巡幸、謁陵、重大案件的處理結果等。通過軍機處的“廷寄”“奏折”製度，皇帝直接而高效地處理著帝國內部的事務。
軍機處之創設，最初的目的是對準噶爾用兵。征戰經年，雖在額爾德尼昭布戰役中由策棱取得光顯寺大勝，但高昂的軍費開支也讓清廷頭痛。雍正於十二年命前線統兵將領返京，商議對準噶爾戰略。當時主張繼續用兵者居多，張廷玉則力陳不可。雍正采納了張廷玉的建議，與準噶爾劃分疆界，達成和議。
軍機大臣的主要任務是幫助皇帝擬定諭旨。掌握了滿漢兩種語言，對儒家典籍爛熟於胸的張廷玉，操作起公文來得心應手。雍正曾稱讚他：“遵旨繕寫上諭悉能詳達朕意。”對準噶爾用兵期間，張廷玉在朝內晝夜值班，隨時擬定諭旨，不經過內閣，直接發給前線將領。