乾隆十三年秋天，袁枚還在江寧任知縣時，用三百兩銀子買下當時金陵城郊的一座廢舊莊園，進行修葺改造，並更名為隨園。隨園坐落在金陵城西北的小倉山北麓，原是雍正時江寧織造隋赫德的私人花園，故人稱“隋織造園”。
由金陵城東門橋向西行約二裏，有不算很高的兩道山梁，這便是小倉山。小倉山自清涼山分嶺而下，中間有清池和水田，山間有樹木掩映，鬱鬱蔥蔥，直至北門橋而止。每逢夏天到來，山間樹木茂盛，繁花錦簇，百鳥爭鳴，溪水淙淙，因而這裏曆來便是皇親貴族們的避暑之地。當時的金陵城名勝很多，城南有雨花台，城西南有莫愁湖，城東有蜿蜒起伏的鍾山，城東北有依山而建的孝陵、雞鳴寺，登小倉山時這些名勝錯落有致地展現在眼前。盡管今天小倉山早已被大都市的樓宇屋舍所淹沒，隨園也很難尋找到舊日的痕跡，可在當時，小倉山的確是一個景致宜人、環境幽靜的美妙去處。曆代不少文人墨客喜愛這個地方，據說，當初李白曾經到過這裏，十分迷戀這裏的景色，便希望將自己的墓地修建在這裏。袁枚一到此處便深深地為其獨特環境所吸引，並決定將此地作為自己意絕仕途後的歸宿。
南京隨園
在袁枚購得之前，隨園因長期無人看管、年久失修，幾乎成為一座荒園，園內亭台頹廢、雜草叢生、樹木枯萎、百花凋零，一片慘敗景象。袁枚買了此園之後，按照自己的意願和審美情趣，像是進行一項藝術創作一樣，對此荒園進行精心的修葺和改造：
茨牆剪闔，易簷改塗。隨其高，為置江樓；隨其下，為置溪亭；隨夾澗，為之橋；隨其湍流，為之舟；隨其地之隆中而欹側也，為綴峰岫；隨其蓊鬱而曠也，為設宦茭。或扶而起之，或擠而止之，皆隨其豐殺繁瘠，就勢取景，而莫之夭閼者，故仍名“隨園”，同其音，易其義。
由此可見，袁枚精心修造的新的隨園處處體現一個“隨”字。實際上，這也正是他當時內心世界的反映。經曆了幾年的個人奮鬥、宦海浮沉，他的人生態度發生了根本的轉變，此時他所追求的不再是金榜題名、仕途升遷，而是遠離塵世的煩囂，順應自己的情感和願望，無拘無束、自由自在地生活，他是在尋找著一個能夠實現他這一願望、能夠“隨心所欲”地生活的世外桃源，因而，袁枚對隨園的修葺和改造，實際上是在營造著自己的“精神家園”。
經過幾年的修葺，隨園的景色煥然一新，更加迷人秀麗。後來有人曾這樣描述隨園的景致：“頗饒亭榭，水木清華，仿西湖為堤井，為裏外湖，為花港，為六橋，為南北峰。長廊複房，琉璃施窗，琴書尊罍，玉石之屬，橫陳幾榻。梅百枝，竹萬竿，桂十餘叢。小倉山色在戶牖間。”（《鶴征後錄》卷八）因袁枚深愛西湖景色，便依照西湖的景點來設計和改造隨園，經過精雕細刻，隨園的確已成為江南園林中的優秀之作，它融山光水色、樓台亭閣為一體，比景點比較分散的杭州西湖更為精巧別致。難怪當時的文人墨客、達官顯貴都以能到隨園一遊而自豪。
乾隆十四年（公元1749年），袁枚借口有病，辭去江寧知縣職務，歸居隨園養病。這一住就是三年。在這三年裏，袁枚對他前半生的人生道路進行深刻反思，最終促成他一生中重大轉折。初歸隨園時，袁枚的內心世界是十分矛盾的。起初他還是十分懷念曾令他興奮並帶給他許多歡樂的仕途生活，特別是每每想及昔日身居翰林時的榮耀，官宰江南時的光彩，覺得就此草草告別仕途，不免有些黯然神傷、難耐寂寞了：“傷哉出山時，意氣淩八表。一自識行藏，不複恥溫飽。何因大鵬翼，化作小山草。”（《小倉山房詩集》卷十三《偶然作》）顯然，他自視才高，深為自己的才能不被世人所用而惆悵，而憤懣，而於心不甘。然而，仕途的坎坷、世態炎涼，卻又使他覺得前途渺茫，從而失去了於官道上進取的信心。久久凝思之後得出的結論是，還是“急流勇退”的好：“三十休官人道早，五更出夢吾嫌遲。”對於“急流勇退”他曾在《隨園詩話》中幾次提到，他說：“唐太宗雲：‘泥龍竹馬，兒童之樂也；翠羽明珠，婦女之樂也。’餘亦雲：‘急流勇退，後起有人，士大夫之樂也。’（《隨園詩話》卷十三）”他又說：“餘常謂收帆須在順風時，急流勇退，是古今佳話（《隨園詩話》卷十六）。”凡此種種，他隻不過是尋找借口，進行自我安慰罷了。隨著時間的推移他才漸漸認識到急流勇退的真正益處：“餘常謂陸放翁（陸遊）、康對山（康海），俱一人權門，名為小損。然士大夫寧為權門之草木，勿為權門之鷹犬，何也，草木不過供其賞玩，可以免禍，恰無害於人；為其鷹犬，則有害於人，而己亦終難免禍（《隨園詩話補遺》卷一）。”他深刻地意識到，如若再於宦海中苦苦掙紮，其結果不是重蹈陸遊、康海之覆轍，就是充當朝廷的鷹犬和爪牙，不但名聲受損，甚至很有可能“難免於禍”，喪身宦海。
於是，就在赴陝任職受挫，又得父親病故的噩耗時，他終於下定決心正式上書朝廷請求終養。兩年後，他的請求得到朝廷的批準，高興之餘，他寫下了《喜終養文書，部複已到》一詩：
一紙陳情奉板輿，九重恩許賦閑居。
身依堂上衰年母，日補人間未讀書。
花竹千竿環子舍，牙簽四麵繞吾廬。
此中便了幽人局，門外浮雲萬事虛。
在居家守孝、修造隨園的過程中，他也開始勾勒自己後半生的生活藍圖，從此開始了他近五十年的文學創作生涯。
一旦擺脫塵世煩囂的襲擾，步入流光溢彩的文學殿堂，袁枚的心境頓時變得超然灑脫、悠然自得起來，有時甚至不免有些喜形於色。一天，一位朋友的兒子，年輕好學，拿著詩作來求教，袁枚讀後，歎賞不止，沒想到此人告別時卻說：“本人不好名，先生千萬不要把我的詩拿給別人看。”袁枚聽了十分鄙夷地自言自語：“此人矜情作態，局麵太小。”在他看來，能以詩文得名於天下，理所應當，沒什麼見不得人的，很正常的謙虛自持，在他眼裏反倒成了一種遮遮掩掩的扭捏作態。袁枚在任知縣時，很是謙虛自重，從不誇耀自己，聽到別人談論自己的政績，也會“聞之兩頰紅”的，可當他退居隨園以後，對於自己的詩文的好名聲卻十分看重，從不掩飾。有位官人自稱不好名，袁枚聽後逗他說：“人之所以與禽獸不同的地方，正是因為人好名也。孔子說：‘君子去仁惡乎成名。’孔子還說：‘君子疾沒世而名不稱焉。’大聖人尚且如此重名，何況你呢？”過分的自誇和炫耀，往往會使人處於十分尷尬的境地。相傳袁枚曾在隨園中掛出一副對聯：“此地有崇山峻嶺茂林修竹，是能讀三墳五典八索九丘”。有位名叫汪容甫的文人聽說後，專為此聯登門求教，袁枚知其來意避而不見，汪便對袁枚的仆人說：“告訴你家主人，就說我要借他的《墳》、《典》、《索》、《丘》四部書一讀。”據史書記載，這四部上古典籍早已失傳，實際上是否真有其書，至今仍然是個謎。袁枚自知誇了海口，自然不敢麵見客人。