《樂記》是《禮記》49篇中的一篇。在《禮記》中作《樂記第十九》，全文5000餘字，包括11個子篇：《樂本篇》《樂論篇》《樂禮篇》《樂施篇》《樂言篇》《樂德篇》《樂情篇》《魏文侯篇》《賓牟賈篇》《樂化篇》《師乙篇》等。據西漢劉向記載，古代的《樂記》共23篇，這23篇的篇名都記載於他的《別錄》。《別錄》一書雖已失傳，但唐代的孔穎達作《禮記注疏》時說，《別錄》所載《樂記》的全部篇目，當時還“總存焉”。從孔穎達的記載看，這23篇除上述11篇之外，還包括《奏樂篇》《樂器篇》《樂作篇》《意始篇》《樂穆篇》《說律篇》《季劄篇》《樂道篇》《樂義篇》《昭本篇》《招頌篇》《竇公篇》等12篇，現今這12篇已失傳。
據傳，公孫尼子上承孔子、集先秦儒家樂教之大成，是《樂記》的原創者。然而從文本本身的行文來看，《樂記》不是出於一時、一人之手，這是可以肯定的。因為編輯的痕跡十分明顯，且重複、鬆散之處隨處可見。
先秦時期的文獻流傳，由於受到了書寫方式的限製，加之師徒之間口耳相傳的授教方式，還由於秦始皇“焚書坑儒”的劫難，往往使得先秦時期的很多文獻很難做到百分之百地、一字不差地保存下來。《樂記》的文獻流傳也不例外。
一般認為，通行本《樂記》，可能是彙編於戰國時期的，也可能是彙編於漢初的。但其內容都高度集中地體現了先秦儒家關於“樂”的思想。其基本思想當直接傳承於孔子，原著當形成於孔子與其弟子及再傳弟子之間。孔子樂教，與《詩》《禮》相提並論，是孔子“仁學”思想的一個重要組成部分。
根據先秦時期各種文獻來看，中國先秦時期的“樂”（詩、樂、舞三位一體）是非常發達的。孔子就是一位超一流的音樂實踐及音樂理論大師。由於書寫方式的限製，樂譜的記載難以保存。“人存則樂存、人亡則樂亡”的狀態，致使先秦時期流傳下來的具體的演奏、表演資料極端貧乏。所以，從這個角度上來講，《樂記》及其相關文獻所提供的內容就非常珍貴了。
鄭玄說：“名曰《樂記》者，以其記樂之義。”“樂之義”就是專門研究“樂”的理論，它是對“樂”之實踐活動的提升與超拔。孔穎達《禮記正義》引《藝文誌》說：“黃帝以下至三代，各有當代之樂名。孔子曰：‘移風易俗，莫善於樂也。’周衰禮壞，其樂尤微，以音律為節，又為鄭、衛所亂，故無遺法矣。漢興，製氏以雅樂聲律，世為樂官，頗能記其鏗鏘鼓舞而已，不能言其義理。武帝時，河間獻王好博古，與諸生等共采《周官》及諸子雲樂事者，以作《樂記》事也。其內史丞王度傳之，以授常山王禹。成帝時，以謁者數言其義，獻二十四卷《樂記》。劉向校書，得《樂記》二十三篇，與禹不同，其道浸以益微。”又說：“劉向所校二十三篇，著於《別錄》。今《樂記》所斷取十一篇，餘有十二篇，其名猶在。三十四卷，記無所錄也。其十二篇之名，案《別錄》十一篇，餘次《奏樂》第十二，《樂器》第十三，《樂作》第十四，《意始》第十五，《樂穆》第十六，《說律》第十七，《季劄》第十八，《樂道》第十九，《樂義》第二十，《昭本》第二十一，《招頌》第二十二，《竇公》第二十三是也。案《別錄》：《禮記》四十九篇，《樂記》第十九。則《樂記》十一篇入《禮記》也，在劉向前矣。至劉向為《別錄》時，更載所入《樂記》十一篇，又載餘十二篇，總為二十三篇也。其二十三篇之目，今總目存焉。”孔穎達的行文是在說，中國上古時期，詩、樂、舞極端發達，周衰禮壞之後，遺法皆亂，此篇《樂記》乃是“采《周官》及諸子雲樂事”而成的重要著作，其理論的主體是先秦之物，記載的也是先秦的思想。雖然並非全貌，但是彌足珍貴。
《樂記》的作者和時代問題，從古到今，眾說紛紜。據《漢書·藝文誌》載，古樂早已有了，但後來散失，及秦而頓滅。漢初朝廷“廣開獻書之路”，像河間獻王這樣的人，以其地方的力量，搜集古書古樂，他與毛生等“共采《周官》及諸子言樂事者”，整理出一部《樂記》來。《漢書·藝文誌》所開列的《王禹記》24篇，有可能就是河間獻王所搜集和整理的《樂記》，它不屬於漢代人的新作，而屬於“先秦舊書”。至於劉向校書所得的“《樂記》二十三篇”這又是怎麼回事呢？
孫堯年在《〈樂記〉作者問題考辨》一文中說：“《樂記》既入中秘，則推斷劉向校得之二十三篇與《王禹記》同屬一本，並不為過（唯兩本輾轉流傳，內容難免更動，其不同或不僅一卷之差）。”他的意思是說，河間獻王獻書到了宮內（中秘），劉向校書中秘，得之而加以校定，這是很有可能的。其中雖有某些更動，但內容基本上是一致的。因此，《樂記》應當是河間獻王所獻的“先秦舊書”。正因為這樣，所以它才需要搜集和整理，獻上朝廷。
那麼《樂記》原書的作者是誰呢？據《隋書·音樂誌》，南朝的沈約認為是孔子的再傳弟子公孫尼子。唐朝的張守節也說：“其《樂記》者，公孫尼子次撰也。”據此，郭沫若在《公孫尼子與其音樂理論》一文中，斷定《樂記》的原作者是公孫尼子。不過，郭沫若說，公孫尼子有可能是孔子的學生公孫龍，並疑心七十子裏麵的“公孫龍字子石，少孔子五十三歲”就是公孫尼。而且他也認為：“今存《樂記》，也不一定完全是公孫尼子的東西，由於漢儒的雜抄雜纂，已經把原文混亂了。”孫堯年不同意說公孫尼子是《樂記》的原作者，孫認為：“《樂記》是西漢中期以前儒家論樂的綜合著作，主要為荀子學派的作品。”蔣孔陽支持孫堯年的觀點，認為：“《樂記》所本的原書，是《周官》及先秦諸子言樂事者。它裏麵，有孔孟的言論，有荀況的《樂論》，還有《易·係辭傳》《左傳》《呂覽》以至《禮記》中其他各篇有關的文章。正因為這樣，所以《樂記》有許多地方與它們相同。因此，《樂記》不是一人一時之作，而是漢初儒者搜集和整理了先秦談樂的言論，特別是儒家談樂的言論，綜合起來，編輯成的一部著作。它的原作者應當是先秦儒者，它的編輯者則是漢初儒者。”