錢泳在《履園叢話？譚詩》中說：“沈歸愚宗伯（德潛）與袁簡齋太史（枚）論詩，判若水火。宗伯專講格律，太史專取性靈。自宗伯三種別裁集出（《唐詩別裁》《明詩別裁》《清詩別裁》等詩人日漸日少；自太史《隨園詩話》出，詩人日漸日多。然格律太嚴固不可，性靈太露亦是病也。”沈德潛過分強調“格調說格律不準確”，出現了許多拿腔作調，缺少性情的浮泛膚廓之作，使人生厭；袁子才《隨園詩話》的問世則大大激勵了普通人的作詩熱情。許多認識與不認識的，都給袁枚寄詩，希望能人《隨園詩話》（當時是隨寫隨刻），取得社會的認同。當然袁枚也借此為自己謀利益，為人詬病。
袁子才對婦女的態度頗不同於偽道學家和頭腦冬烘的腐儒。他讚美有才有色的女性，當中未免有風流詩人輕薄的惡習，但其中也有對女性的同情和欣賞。他在江寧做知縣時，處理張氏女逃夫案。此女獻詩雲：“五湖深處素馨花，誤人淮西沽客家。得遇江州白司馬，敢將幽怨訴琵琶。”這有點像《儒林外史》中寫的沈瓊枝故事。張氏女討厭作為商人的丈夫，袁枚同情這位才女，並請來追討的縣令從輕發落。
《詩話》中的趣事也不少。“郭頻伽秀才寄小照求詩，憐餘衰老，代作二首來。教餘書之。餘欣然從命，並劄謝雲：‘使老人握管，必不能如此之佳。’渠又以此例求姚姬傳先生。姚怒其無禮，擲還其圖，移書嗔責。餘道：此事與嶽武穆破楊麼歸，送禮與韓、張，二王一喜一嗔。人心不同，亦正相似。劉霞裳曰：‘二先生皆是也：無姚公，人不知前輩之尊；無隨園，人不知前輩之大。’”郭頻伽就是郭塵，也是個性靈派詩人，終生未仕，擅長書畫、金石篆刻，但隻是這些換不了飯吃，所以還要奔走豪門。要得到豪門的接納，還要名士的吹捧，所以才把自己畫像寄給袁枚、姚鼐，請他們題詩，又怕太麻煩他們，還自己作了詩，一並寄去，隻是屈尊他們動一下筆就可以了。袁枚脾氣好，有點“廣大教化主”的派頭，不僅抄好了，寄回去，而且謙卑地說，要讓老夫作，也寫不了這麼好；而憨直的姚鼐則受不了這種侮辱，不僅擲還其圖，還把郭鏖罵了一頓。《隨園詩話》也是一麵鏡子，燭照出許多人情世相，好看，好玩。