幼年的袁枚，深深為書籍所迷戀，可以說嗜書如命，但因家境不佳，無錢買書，每每經過書肆，他都駐足流連，不肯離去，特別是看到十分喜愛的好書不能擁為己有，不免悵然若失，怏怏而歸；有時好書竟在夢中買回。這種因家貧而買不起書的境況，一直伴隨著他度過少年時代。後來他在《對書歎》一詩中這樣寫道：
我年十二三，愛書如愛命；
每過書肆中，兩腳先立定。
苦無買書錢，夢中猶買歸。
貧寒的家境使得他隻能借書來讀，有時別人因他年少不願借書給他，或要收取銀兩作為押金，讓他飽嚐了借書的艱辛。借書之不易更增強了他對書籍的珍愛。正因為有過這樣借書閱讀的經曆，他才會對借書有一番獨到的見解：“書非借不能讀也。子不聞藏書者乎？《七略》、《四庫》，天子之書，然天子讀書者有幾？汗牛塞屋，富貴家之書，然富貴人讀書者有幾？其他祖父積子孫棄者，無論焉。非獨書為然，天下物皆然。非夫人之物，而強假焉，必慮人欲取，而惴惴焉，摩玩之不已，曰：今日存明日去，吾不得而見之矣。若業為吾所有，必高束焉，庋藏焉，曰：姑俟異日觀雲爾。”（《小倉山房文集》卷二十二《黃生借書說》）的確，當時的袁枚，凡有好書，每見必求，每得必讀，吟誦於口，爛熟於心。對於一些優秀之作，除精心閱讀，仔細琢磨外，生怕書還之後其內容也隨之而去，所以“必加摘錄，分門別類，以補健忘。”（《清稗類·文學》）也許，正是由於袁枚對書籍癡迷到極點，當他借來《文選》讀到其中的《長門賦》時，竟恍恍惚惚地覺著似曾相識，於是發出“‘讀書是前世事’的諺語並非妄談”的感歎。
功夫不負有心人。刻苦的學習，使袁枚十二歲便考取了秀才，與老師史玉瓚同入縣學。後來，他在詩中描述當時的情狀：
憶昔袁絲年十二，簪筆學趨童子試。
門前已送好音來，階下還騎竹馬戲。
……
一番正試兩番覆，道路爭觀人簇簇。
喧傳泮水出芹芽，豔說蒙童充棫樸。
……
並行敢逐先生後，倚寵仍眠大母懷。
諸姑伯姊欣欣到，替我梳頭向我笑。
看著青衿試短長，勸拖錦帶休顛倒。
（《小倉山房詩集》卷三十二《重赴泮宮詩》）
可見當時的袁枚，雖已成為一鄉矚目的秀才，但仍是一個天真爛漫、稚氣猶存的孩童，無比興奮之情，溢於言表。特別是與他的老師一起考取，轉眼工夫，昔日的先生成了同窗學友，這實在讓袁枚喜不自禁。
小小年紀便考取秀才，這無疑增強了袁枚求學上進的自信心，而加倍的努力更使他的學業取得了很大的進步。從十三歲到十九歲這短短幾年的時間裏，袁枚幾乎一年一個台階地在封建科舉的路途上向前邁進，而每上一個台階似乎都有“貴人”扶持和提攜。這段時間給袁枚印象最深的還是杭州敷文書院的楊繩武先生和浙江督學帥蘭皋。雍正十二年（公元1734年），十九歲的袁枚步入杭州敷文書院學習，受業於楊繩武先生。這位楊先生知識淵博，注重實學，對袁枚的思想和才華很是賞識。袁枚將自己所作的《郭巨論》、《高祖論》拿去求教，楊繩武讀罷為之欣喜，與他半開玩笑地說：“文如項羽用兵，所過無不殘滅。汝未弱冠，英勇乃爾。”（方濬師《隨園先生年譜》）一次，當時的浙江督學帥蘭皋想考考袁枚的古文基礎，便問袁枚：“你知道‘國馬’、‘公馬’作何解釋？”這是兩個較為冷僻的典故，很少有人知曉。袁枚如實答道：“二者都出自《國語》，至於作何解釋，我確實不知。”督學驚喜道：“像你這般年紀，知道二馬的出處就足矣，何必再解釋呢！”接著他又問“除‘國馬’、‘公馬’外，還有‘父馬’，你可知道？”袁枚答道：“出自《史記·平準書》。”督學又問：“你能對嗎？”袁枚脫口而出：“可對以‘母牛’，出自《易經·說卦傳》。”這一對，不僅對的工穩妥帖，而且還有出處。督學聽罷，大喜。袁枚深厚的文史功底，敏捷的才思，不得不讓這位博學資深的督學刮目相看，於是他即給予袁枚撥至高等廩生的獎賞。老師的稱讚，督學的獎掖，使袁枚受到極大的鼓舞，因而更加發憤讀書寫作。從此，袁枚對詩文閱讀和寫作的熱情與日俱增，而對內容空泛、形式呆板的八股時文卻日益厭惡，雖然為應考有時不得已而為之，“而心終不以為然”（《小倉山房文集》卷三十一《與俌之秀才第二書》）。
袁枚的青少年時代大半是在刻苦學習、孜孜求索中度過的。的確，他擁有天賦和機遇，但他的成長，從根本上講還是受益於良好的家庭環境和他本人的勤奮努力。這一時期，盡管功名利祿讓他在科舉的路上奔跑，可文學創作的才華已在他身上初露鋒芒，一條寬闊而漫長的文學之路已在他眼前展現，且深深地吸引著他，也正是從這時起，他有意無意地將一隻腳跨入金碧輝煌的文學殿堂，開始了一生中最初的詩文創作，寫下他詩文集中起始的篇章。