卦山脚下的文昌宫，是进入卦山景区的第一座古建筑。2011年划入吕梁英雄纪念园景区。清康熙二十九年（1690年）交城知县黄锎创建。据清·赵端《新建文昌宫序》记载：创建文昌宫的倡议，最先由赵吉士（1628—1706年）发起。他在康熙七至十一年任职交城知县时，“暇日游卦山之麓，见水秀山明，谓同游者曰：苟得建一文昌阁于此，邦之人其将科第不绝乎！”乾隆十一年（1746年）、道光七年（1827年）、公元1991年、2011年重修。1958年，电影《我们村里的年轻人》在此拍摄外景。
蒲松龄的《聊斋志异·梓潼令》记载了文昌帝君与山西交城县人常大忠的一段趣闻轶事。历史上的文昌帝君，据说是四川梓潼县人。旧时将文昌尊为主管功名禄位的神仙。文昌帝君的陪祀神为“天聋”“地哑”两位书童打扮的神祇，代表着“天机不可泄漏”“文运人不能知”“文人须谦卑少言”等意义。《聊斋志异·梓潼令》的故事是：
常大忠考中进士后，在北京听候选用。夜间他梦见文昌帝君（梓潼帝君）投来一张名片。次日抽签结果，吏部果然授常大忠当四川梓潼县令，他感到很奇怪。然而未及上任，却因母亲亡故回家守丧3年。后来到期再次赴京等候委用，又做了个文昌投名片的梦，抽签结果还是梓潼县令。
文昌帝君是旧时主管念书人功名利禄的神仙，能到文昌帝君老家上任，当然荣耀。经历了明末战乱饥荒，梓潼县民不聊生。常大忠招集流亡，扶助生产，“自剑门以西复业者不啻万家”。重建文庙，振兴教育，亲为讲解，文教大兴。其他如“蠲谷赈饥、舍棺掩骼、修筑河堤、设立义仓，善政累累，尤难殚述”。常大忠的第二任职务是安徽潜山县知县。现今安徽潜山县有座潜岳书院，原名三立书院，就是清康熙三年（1664年）潜山知县常大忠捐俸创建的。潜山县的潜水，是皖河流域的第二大支流，河道全长116公里，流域面积1326平方公里。常大忠“相地宜，酌水势”，筑新堤、起新闸，“还其堰于两河冲口”。这项工程直到20世纪仍在发挥效益，常大忠功不可没。后来他又升保定府同知，始终“洁己奉公，丝粟不扰民。卒之日，几不能具棺殓居”。死后竟然连筹措棺木的积蓄都没有。保定府将他列入“名宦”，还为他建了“常公祠”。现在保定市的文物保护单位中，有一座“忠烈祠”，就是常大忠创建的。
常大忠（1620—1670年），字二河，清顺治三年乡试解元（举人考试全省第一名）。常大忠作品有《常大忠集》《贞胜编》《格物编》。交城县阳渠村有明代创建的“锦汾书院”，是常大忠当年的读书之地。