由於傅恒、汪由敦對趙翼特別看重，引起了一些人的嫉妒。在軍機處開始有流言蜚語，指責他狂妄自大，不適合在軍機處供職。軍機處涉及的都是軍國要務，特別注意保密，軍機章京與各部京官極少往來。剛入軍機處時，趙翼就看到一個前輩在軍機處值班房前正襟危坐，訓斥一名立在台階下的部官：“此機密地，非公等所宜至也。”同僚中有偶與各部官員見麵時聊天者，也被訓斥。
聽到各種關於趙翼的流言，傅恒也很無奈，遂在乾隆二十四年讓趙翼離開軍機處，轉入內閣供職。從軍機處轉出來後，趙翼繼續在內閣做中書。不想過了一段日子之後，又被重新調回軍機處。自從趙翼被調走後，在陪同乾隆木蘭行獵時，軍機章京草擬的文稿錯誤百出，於是傅恒名正言順地將趙翼調回軍機處幫忙。
乾隆二十六年，趙翼決定一試身手，參加科考考試。但此時參加科舉卻時機不對。曆年科舉考試中，軍機章京考中的較多。去年科考的狀元畢沅、榜眼諸桐嶼，都是軍機章京，以致當時有“曆科鼎甲皆為軍機處所占”之說。就在會試之前，在軍機處供職的某禦史因為泄密被逮捕，軍機大臣及軍機章京成為眾矢之的。作為軍機章京的趙翼如果再高中，會讓軍機大臣們遭受輿論的壓力。傅恒私下告訴趙翼，不要指望在這一科的殿試中能取得狀元。
擔任閱卷官的劉統勳、劉綸都是軍機大臣，且和趙翼關係密切，兩人知道趙翼在文學上的能耐，但此時他們也隻能避嫌，壓低趙翼的名次，緩解軍機處的壓力。對此趙翼也有所準備，知道兩人熟悉自己的字體，就在答卷時改了字體，果然瞞過了二人。卷子改出來後，前十名的試卷要被選出來遞交給乾隆禦覽。劉綸憂慮趙翼進入一甲（前三名）會讓外界非議，就再次翻閱試卷。試卷名字都被密封，劉綸也沒法判斷哪張卷子是趙翼的。
劉綸看來看去，懷疑第一名的試卷是趙翼的，就將試卷拿給劉統勳複查。劉統勳一看大笑道：“趙翼的字跡就是燒成灰我也認識，這個卷子肯定不是他的。”這其中還有個典故，當年趙翼初入京師時，曾在劉統勳家住了一段日子，模仿他兒子劉墉的書法，練就了一手“石庵體”小楷。入軍機處後，趙翼仍然使用“石庵體”，劉統勳對此趙翼的字體是再熟悉不過了。劉統勳這麼一說，劉綸也就放心進呈了。
卷子拆開後，由乾隆來做最終判定。乾隆見第一名是江南趙翼，第二名是浙江胡高望，第三名是陝西王傑，第一名、第二名又是軍機章京。
乾隆就召閱卷大臣過來問：“本朝陝西有沒有狀元？”
大臣對道：“本朝陝西未出過狀元。”
乾隆遂將王傑的試卷與趙翼對調，讓王傑做了狀元，趙翼做了探花。
成績公布的當日，一甲三人照例要出來跪謝，乾隆在龍椅上看見趙翼掛著朝珠，就問傅恒這是誰。
傅恒道：“軍機章京，例帶數珠。”又介紹道：“以前汪由敦應奉文字，皆其所擬。”
乾隆聽了頷首不語。
次日乾隆在朝廷上對眾大臣解釋：“趙翼的文章自然是好，但江浙多狀元，不足為奇，本朝陝西還沒有出過狀元。最近在西北邊陲取得戰績，給王傑第一名也不為過。”
這樣，趙翼的第一名就飛掉了。實際上，乾隆取王傑為第一還有其他因素。王傑是陝西韓城人，曾在兩江總督身邊做過幕僚，時常撰寫奏折，字體為乾隆所熟悉。這次乾隆看到卷子上字體熟悉，就仔細詢問了王傑情況，知道王傑各方麵都很出色後，遂給了他第一。到接見時，乾隆見王傑風度翩翩，更加喜歡了。趙翼雖然文章寫的好，但乾隆說他麵相苦沒福氣，所以趙翼一輩子沒飛黃騰達，而王傑則位極人臣。
軍機章京之所以在科舉考試中屢屢高中，實因軍機處所處理事務關係時政。在八股考試之中，經過軍機處浸染多年，通達政事，熟諳公文，又具文采的軍機章京們自然容易高中。此外，因軍機章京長期在中樞，貼近皇室，升遷的機會也更多。
在科舉場上拚搏了十年，六次參加會試之後，趙翼終於揚眉吐氣。此後，他從軍機處離職，進入翰林院擔任編修。翰林院是個清淨之地，雖然俸祿較低，但終於圓了趙翼的夢想。因為在軍機處多年，處理準噶爾戰事的公文較多。在翰林院，趙翼擔任編撰《平定準噶爾方略》的工作。翰林院任職三年後，趙翼被考核為一等。傅恒屢次在乾隆麵前推薦趙翼，但乾隆認為趙翼沒有福相，一直未加以重用。
至乾隆三十一年，趙翼突然被任命為廣西鎮安府知府，這讓趙翼措手不及。在翰林院雖然薪俸較低，但趙翼滿足於編修史籍的工作，猛地換到一個不熟悉的環境中去，一時難以接受。在乾隆接見時，趙翼表示自己“吏治未嫻”，不適合做外官。乾隆卻認為讀書人沒有不能辦事的，且趙翼在軍機處磨練多年，頗能任事，做外官毫無問題。既然皇帝這樣說了，趙翼沒有別的選擇，隻能前往廣西上任。