卦山腳下的文昌宮，是進入卦山景區的第一座古建築。2011年劃入呂梁英雄紀念園景區。清康熙二十九年（1690年）交城知縣黃鐦創建。據清·趙端《新建文昌宮序》記載：創建文昌宮的倡議，最先由趙吉士（1628—1706年）發起。他在康熙七至十一年任職交城知縣時，“暇日遊卦山之麓，見水秀山明，謂同遊者曰：苟得建一文昌閣於此，邦之人其將科第不絕乎！”乾隆十一年（1746年）、道光七年（1827年）、公元1991年、2011年重修。1958年，電影《我們村裏的年輕人》在此拍攝外景。
蒲鬆齡的《聊齋誌異·梓潼令》記載了文昌帝君與山西交城縣人常大忠的一段趣聞軼事。曆史上的文昌帝君，據說是四川梓潼縣人。舊時將文昌尊為主管功名祿位的神仙。文昌帝君的陪祀神為“天聾”“地啞”兩位書童打扮的神祇，代表著“天機不可泄漏”“文運人不能知”“文人須謙卑少言”等意義。《聊齋誌異·梓潼令》的故事是：
常大忠考中進士後，在北京聽候選用。夜間他夢見文昌帝君（梓潼帝君）投來一張名片。次日抽簽結果，吏部果然授常大忠當四川梓潼縣令，他感到很奇怪。然而未及上任，卻因母親亡故回家守喪3年。後來到期再次赴京等候委用，又做了個文昌投名片的夢，抽簽結果還是梓潼縣令。
文昌帝君是舊時主管念書人功名利祿的神仙，能到文昌帝君老家上任，當然榮耀。經曆了明末戰亂饑荒，梓潼縣民不聊生。常大忠招集流亡，扶助生產，“自劍門以西複業者不啻萬家”。重建文廟，振興教育，親為講解，文教大興。其他如“蠲穀賑饑、舍棺掩骼、修築河堤、設立義倉，善政累累，尤難殫述”。常大忠的第二任職務是安徽潛山縣知縣。現今安徽潛山縣有座潛嶽書院，原名三立書院，就是清康熙三年（1664年）潛山知縣常大忠捐俸創建的。潛山縣的潛水，是皖河流域的第二大支流，河道全長116公裏，流域麵積1326平方公裏。常大忠“相地宜，酌水勢”，築新堤、起新閘，“還其堰於兩河衝口”。這項工程直到20世紀仍在發揮效益，常大忠功不可沒。後來他又升保定府同知，始終“潔己奉公，絲粟不擾民。卒之日，幾不能具棺殮居”。死後竟然連籌措棺木的積蓄都沒有。保定府將他列入“名宦”，還為他建了“常公祠”。現在保定市的文物保護單位中，有一座“忠烈祠”，就是常大忠創建的。
常大忠（1620—1670年），字二河，清順治三年鄉試解元（舉人考試全省第一名）。常大忠作品有《常大忠集》《貞勝編》《格物編》。交城縣陽渠村有明代創建的“錦汾書院”，是常大忠當年的讀書之地。