康熙五十五年三月初二（公元1716年3月24日），袁枚降生在浙江錢塘一個家道中落的仕宦家庭。
袁枚的祖上也曾任過不小的官職，其高祖，即袁枚祖父的祖父袁槐眉曾任明朝侍禦史，祖父的父親袁茂英曾任布政使之職，隻是到了袁枚的祖父袁錡這一代，由於種種原因，袁氏家族的官運漸漸不濟，開始過上貧遊四方的生活。袁枚的祖父袁錡、叔父袁鴻、父親袁濱先後曾在湖北、廣西、廣東、雲南、福建等地依人作幕府，以其微薄的收入，供養家小，到了袁濱時，家境尤為貧困。然而，袁家畢竟具有古代文人仕宦家庭的門風，也算得上書香門第。祖父袁錡曾有詩作刻行於世，叔父袁鴻也能作詩，隻是因為去世時其子尚小，詩作多散失，沒能傳下來。這種家學給袁枚提供了一個良好的家庭環境，對袁枚日後的成長多少有一定的影響，袁枚小時就曾抄錄過祖父的詩作，隻是因為後來屢屢遷居都遺失了。
袁枚的母親章氏，勤勞善良，在男人們都外出遊幕的情況下，憑著自己勤勞的雙手，做些縫縫補補的手工，苦苦支撐著這個家庭。袁枚幼年時，家境最為艱難，上有祖母、姑姑，下有袁枚兄妹，祖孫三代、一家婦孺的生活，全靠母親一人來承擔。父親遊幕他鄉，因路途遙遠，所得報酬時常不能及時寄到，麵對嗷嗷待哺的子女們，母親不時地傷心歎息，有時甚至不得不賣掉自己的一些首飾和衣物，換取食物，養家糊口。憶起當年的境況時，袁枚也曾有過“慚愧少年貧裏過”的感歎。
袁枚就是出生在這樣一個貧寒的家庭，但是，家雖貧寒卻不乏溫馨和愛意。袁枚天資聰慧，“幼有異稟”（《清史稿》卷四八五），頗得祖母、母親和姑母的憐愛。使袁枚受益最深，對袁枚影響最大的還是他的姑母。姑母早年嫁給沈氏，三十一歲開始守寡，孀居娘家，除幫助母親料理一些家務外，主動承擔起撫養袁枚的義務，“寒則襲，癢則搔，朝賾而夕浴，皆為姑之求。”（《小倉山房文集》卷五《亡姑沈君夫人墓誌銘》）姑母不僅在生活上給袁枚以悉心的照顧，尤為重要的是，她可稱得上是袁枚的第一位啟蒙教師。這位姑母具有豐富的文史知識，也會作詩，她經常挑選史書、筆記中一些通俗易懂的內容娓娓動聽地講給袁枚聽；在袁枚討厭讀那些佶屈聱牙、艱澀難懂的古文時，姑母總是在一旁鼓勵他並陪伴他一起來讀，姑母還經常與他談論古代的一些人物和故事。姑母對古人古事一些頗有見地的見解，對袁枚的思想產生了深刻影響。例如：對於“二十四孝”中的郭巨埋兒的故事，姑母就有不同看法，曾作詩道：“孝子虛傳郭巨名，承歡不辨重與輕；無端枉殺嬌兒命，有食徒傷老母情……”在姑母看來，郭巨為孝母而埋兒的行為是不近人情的，如此的觀點與當時的封建禮教相去甚遠。姑母這種思想在袁枚幼小的心靈裏打下深深的烙印，一直被封建孝道所推崇的郭巨，頓時在袁枚心目中失去了光彩。他十四歲時所作的《郭巨論》一文就是姑母這一思想的進一步闡發。
康熙六十一年（公元1722年），袁枚七歲，舉家遷居錢塘之葵巷。這一年，袁枚從師史玉瓚學習《論語》和《大學》，開始接受正式教育。塾師史玉瓚對自己的學生要求非常嚴格，天真活潑的袁枚還不大習慣這種私塾生活，因此常常懼怕因背書不熟而遭老師的責怪，有時甚至因難耐嚴格的管束而企盼著能有客人拜訪老師。
一次，老師外出，老師的好友張自南抱了一冊書登門拜訪，見史先生不在，便留下一張紙條，稱因生活拮據，手頭急等錢用，願將這套共四本的《古詩選》以很少的銀兩賣給史先生。史先生看後十分同情張先生，遂起惻隱之心，便說：“張先生以這麼少的銀子賣書，而且苦苦哀求，實在讓人於心不忍。快拿錢給他，至於書，留不留都行。”袁枚聽了，急忙拿書來翻閱，沒想到這套《古詩選》將袁枚深深地吸引住了，他如獲珍寶，愛不釋手，於是書便被袁枚留了下來。在很長一段時間裏，這套《古詩選》成了袁枚的好朋友，他常常帶在身邊吟誦，並偷偷地模仿著作詩。顯然，這套《古詩選》令袁枚耳目一新，將他帶入一個嶄新的天地。
也許，正是這套偶然所得的《古詩選》為袁枚打開詩歌殿堂的大門，激發了袁枚那一發不可收拾的詩歌創作熱情。從此，袁枚對詩歌產生了特殊的感情，並開始接觸更多的古代詩作，特別是《詩經》、《離騷》等優秀作品，成了他最喜歡的讀物，與此同時他也喜歡上了詞賦。後來他回憶道：“九歲讀《離騷》，嗜古有餘慕。學為四子文，聰明逐陳腐。猶複篝殘火，偷習詞與賦。”（《小倉山房詩集補遺》卷一）足見他當時就對詩詞產生了濃厚的興趣，而對八股時文已經開始厭惡了。在古代詩歌的熏陶下，他那詩歌創作的欲望已難以抑製，寫詩作文幾乎要取代他童年的遊戲，他的這種熱情也感染了他的同年學友，他們經常在一起作詩，有時各自寫好了藏在袖中，冒著雨躲起來偷偷欣賞。九歲這年，他和同學一起遊覽杭州吳山，並學著作了一首五律詩，這是他最早的詩作了，直到後來他重遊吳山觸景生情，憶及當年詩中“眼前兩三級，足下萬千家”的詩句時，仍“覺童語終是真語”，感歎不已。