有了錢以後，按照石崇的脾性，做官純粹成了敷衍，應付差事，生活的重心全部放在了個人瀟灑取樂上。
石崇花錢給自己建起了一座豪華氣派的“別廬”，為了這個安樂窩，石崇很是費了些心思，不辭辛苦實地考察，最終選定河南縣界的金穀澗中，後世名之曰“金穀園”。石崇自己用很得意的文字這樣描寫金穀園：“去城十裏，或高或低，有清泉茂林，眾果竹柏，藥草之屬。金田十頃，羊二百口，雞豬鵝鴨之類，莫不皆備。又有水礁、魚池、土窟，其為娛目歡心之物備矣。”城外十裏，依山形水勢高低錯落築園建館；園中茂林修竹，蔥翠鬆柏，藥草鋪地，清泉婉轉流淌其間，雞鴨羊鵝成群結隊，又有湖中小島、金玉滿池、曲徑通幽，所有賞心悅目的遊玩設施，應有盡有。院內另建有一座百丈高的崇綺樓，登臨可以“極目藍天”，樓內用珍珠、瑪瑙、琥珀、犀角、象牙裝飾，珠光寶氣堪與皇宮媲美。
在這個當時國內最豪華的私家園林別墅裏，石崇除了自己尋歡作樂外，經常邀官場同僚、社會賢達和文壇才子們來此聚會，不分晝夜，宴飲遊樂。石崇攜眾人一會兒泛舟湖中，一會兒品茗於涼亭，登高望一池春水，林間聞黃鸝鳴叫，或令麗人鼓瑟吹笙，或把酒觀賞優伶曼舞，一副世外仙人的逍遙狀。
財富就是頭銜，就是招牌，石崇因此跟當朝的紅人賈謐成為至交，美男子潘嶽以及眾多名流文士也都相繼簇擁到他周圍，漸漸形成了名噪一時的“金穀二十四友”。
“二十四友”是個屬性比較複雜的民間組織，具備多重色彩。首先，從官場權力結盟的需要看，它是以皇後賈南風之侄賈謐為中心的一座官僚小山頭。當時司馬衷軟弱無能，皇後賈南風驕橫專權，賈謐以皇親國戚身份在朝中飛揚跋扈，其又好筆墨文章，石崇、潘嶽等人出於政治命運安全的考慮，選擇他來作靠山，依附在這位當朝權貴的身邊。既然拿賈謐當作保護傘，自然免不了要時常阿諛奉承討好，幾個文人把賈謐捧得很高，拿他與西漢大才子賈誼相提並論。賈謐很受用，也很樂於這樣包裝自己，既是皇權新寵，又是文人雅士的領袖，這一身行頭，更有助於他夥同他的姨母賈南風操控司馬氏政權。
其次，站在文學史的角度看，“二十四友”又是一個趣味相投的文人創作交流沙龍。除石崇、潘嶽外，“二十四友”中，西晉文學的代表性人物陸機、左思等都大名在列。這個文學沙龍不像前一個屬性是以權勢排位，而是以石崇為核心，石崇為之提供經費讚助、活動場所，同時扮演總召集人的角色。這些人不定期地以詩文聚會，吟詩作賦，相互唱和，號稱“金穀雅集”，在當時大有獨領文壇風騷的意味，也成為後世談及西晉文學創作的一個重要話題。石崇後來用心把金穀園中各位的詩作編輯成冊，並親自撰寫《金穀詩序》。石崇無心插柳，他所首創的“筆會式”的文人名士集體創作之舉，對後世產生了極大的影響，東晉王羲之等人後來仿效“二十四友”的“金穀雅集”搞了一個“蘭亭雅集”，又比照石崇的《金穀詩序》寫了一篇《蘭亭集序》，王羲之甚至以自己能與石崇匹敵而深感自豪。“金穀二十四友”帶有“竹林七賢”的遺風，隻是從個人的氣質風度上講，他們沒有“七賢”那麼孤傲任誕、遺落世事，當然也就難以企及“七賢”笑看功名、超凡脫俗的精神境界。
第三，某種程度上這又是一幫“貴遊豪戚及浮競之徒”組成的富人俱樂部。我們不妨看看這二十四人的出身和社會背景，其中晉王朝的貴戚有五個人，功臣及名門望族子弟六人，時尚名士五人，賈謐和石崇的哥們四人，石崇自然是三者皆備了，既可忝列文人，又是功臣之後，還是國內首富。石崇之所以有號召力，正是源於他的大富豪身份，輝煌豪奢的金穀園以及滿園豔麗嫵媚的花樣女子，吸引了那些來此相聚的風流人物。所謂“雅集”，在很大程度上不過是他們的自我標榜，實則在金穀園中，這些高官顯貴、風流才子更癡迷於聲色犬馬，日日歡飲，夜夜笙歌，其中少不了男女間的********。拿他們的詩賦與“建安七子”和“竹林七賢”一對照，除了相互吹捧，餘者大多是靡麗傷情之作，完全局限在個人情色體驗和感官享受上，明顯是一種低級趣味的文字遊戲。
但不管怎麼說，石崇哪怕是出於天性曠達的無意，以他為首的二十四人及其“金穀雅集”，給中國文壇還是留下了一段別開生麵的佳話，風景這邊獨好。