書院是我國古代所特有的一種非正式的教育機構。由私人、官吏或宗教寺觀創辦、管理。一般選址在山林名勝之地，請名流學者、地方官吏講學。我國著名的古書院有湖南長沙嶽麓書院、江西廬山白鹿洞書院、河南登封嵩陽書院、河南商丘睢陽書院、湖南衡陽石鼓書院等。書院采用自習、相互討論、聘師講解相結合等較自由的學習方法，以研習儒家經籍為主，間亦議論政治、時事。對學術思想發展有一定的影響。山長或由地方官禮聘，也有由地方公眾推舉的，往往要求有較高的學識和較好的德行，其待遇一般也很高。
卦山書院重建於清康熙四十五年（1706年），但早在明代時已有書院活動的事跡。它建在天寧寺前的臥龍崗上，四周翠柏環繞，十分幽靜。晚唐時期，這裏曾是李商隱嶽父、忠武軍節度使王茂元的別墅。院落略向西南，院分三進。院前有二柱一樓式牌樓，建於清嘉慶十八年（1813年），上書“卦山書院”四個金色大字，字跡端莊，係清嘉慶間交城知縣嶺南王鴻文所書。牌樓前為“回音階”37步，遊人拾級而上，則步履鏗鏘，宛作金玉之聲。前院作庭園式格局，三麵花欄短牆，右有月門、左有六角攢尖碑亭，亭柱各用整塊巨石鑿就，十分古樸。亭內立《卦山書院記》碑，碑石晶瑩光潤，選材精良。碑建於清康熙四十七年（1708年），由“提督山西等處學政，翰林院侍讀，西陵鄒士璁”撰文，邑人白振新書丹，碑文大意講書院創建始末及知縣洪璟治交德政。
中院前有門樓，有清代文人李配蘭題額“浮嵐”。中院兩翼為齋舍，舊時是學員自習場所，也作食宿、生活用房。左右各三間，硬山頂。講堂是整個書院的中心建築，處於中後院之間的中軸線上，麵闊五間，歇山頂，正麵簷下懸“聖協時中”橫匾，是道光皇帝於道光元年（1821年）禦筆題書。語出《中庸》：“君子之中庸也，君子而時中。”意為孔子的“中庸之道”，學術思想協和萬邦，凡事處置得體，恰如其分。
講堂明間前後開門，做成“過廳”式樣，直通後院藏書室。
1938年2月26日，日本侵略軍對卦山名勝古跡進行瘋狂“掃蕩”，卦山書院後院部分被縱火焚毀。1989年後陸續重建，恢複清代古建原狀，至2000年全部完工。
清鹹豐七年（1857年）左右，山西定襄人梁述孔擔任卦山書院院長（乾隆三十年前稱山長）。梁述孔，字彭孫，道光十六年（1836年）中進士，以分發貴州即用知縣改任蒲州府教授，其後受聘卦山書院多年，作品有《如嬰齋文抄》一卷。梁述孔任院長其間，當時主講平遙超山書院的我國近代著名地理學家、鴉片戰爭中愛國主義者徐繼佘來遊卦山，造訪鄉親梁述孔，宿卦山書院，並留下珍貴詩篇。
徐繼佘（1795—1873年），字健男，號鬆龕，山西五台縣東冶鎮人，清嘉慶十八年（1813年）鄉試第四名舉人，道光六年（1826年）進士及第，朝考第一名。曆官翰林院編修、陝西道監察禦史、福建汀漳龍道台、廣東按察使、福建布政使、福建巡撫等職。鹹豐六年（1856年），應聘在山西平遙超山書院主講，時間長達10年。此間，他遊曆卦山，並與梁述孔有唱和詩作。他的巨著《瀛環誌略》，介紹了世界各國的曆史、地理狀況，較客觀地評介外部世界，因而在晚清社會中影響較廣，國內多次重版，日本國也再三翻印，對中日近代維新思想有重要的啟蒙作用。
魏晉南北朝，讀書山林的風氣很濃，“竹林七賢”便是典型。嵇康、阮籍、山濤、向秀、劉伶、阮鹹、王戎，常在山中徜徉、宴集、詠唱，“或閉門讀書，累月不出；或登山臨水，終日忘歸”（《晉書·阮籍傳》）。唐人讀書山林的風氣更盛。唐耕望先生曾詳細考證了終南山、華山、嵩山、中條山、太行山、泰山、廬山、衡山、羅浮山、九華山、慧山及長安、蜀中、淮南、浙東、浙西、會稽、敦煌等地讀書山林的狀況，論證了“書院製度乃由士人讀書山林之風尚演進而來”（《唐人習業山林寺院之風尚》）的觀點。
山林的優美寧靜還有利於淨化心靈，陶冶情操。“立朝為講官諫臣，退處則鄉黨自好”，這是古代大多數士人的理想，理想於功成身退，退隱山林。古代士人酷愛山水，追求人性與自然的統一，對山水美的感受與愉悅常表現在精神上的感應與共鳴。在卦山天寧寺，為明代官吏胡體乾的讀書處；在離石安國寺，有清朝名臣於成龍的“讀書樓”等。交城知縣趙吉士曾在《盧川書院記》中說：交城縣“地僻而俗樸，士子徒守經書章句，少見聞講習”。他每年都要帶領縣學諸生到玄中寺、天寧寺等佛教聖地、名勝古跡“課藝講學”，強調學習課外知識。