“翰林”之名在漢代就有了，本指文學之林，是文翰薈萃之所在。唐代開始將其作為官及官署名。
唐玄宗時，置翰林院，內設有翰林待詔，翰林供奉，後來又稱翰林學士，為文學侍從之官。如唐代大詩人李白被稱為翰林學士。後來，翰林院演變為草擬機密詔製的重要機構，任職者稱待詔。
安史之亂後，軍事活動頻繁，“深謀密詔，皆從中出”說的就是翰林院，翰林學士的地位越來越重要，不但在草擬詔製方麵分割了中書舍人之權，而且，也在參謀密計方麵分割了宰相之權。故當時翰林學士又號稱“內相”，首席翰林學士稱承旨。
宋代進一步提高了翰林學士的地位，設立翰林學士院，與實際掌政事堂（中書門下）樞密院居平等地位，很多宰相都從翰林院學士中選拔，因此很為文學之士羨慕。
遼代在南麵官中設置翰林院。元代設翰林院兼國史院，分別掌管製定詔旨，編修國史和翻譯文學經典等。
明代開始將修史、著作、圖書等事務歸並翰林院，翰林院正式成為外朝官署。翰林學士作為翰林院的最高長官，主管文翰，並備皇帝谘詢，實權已相當於丞相。
清代沿用明代製度，設置翰林院，主管編修國史，記載皇帝言行的起居注，進述經史，以及草擬有關典禮的文件。翰林院長官為掌院學士，以大臣擔任，屬官如侍讀學士、侍講學士、侍讀、侍講、修撰、編修、檢討和庶吉士等，統稱為翰林。