自从北朝西魏废帝二年（553年），改西充国县为晋城县，隋文帝开皇三年（583年），将晋城县治设在今之西充县城。唐高祖武德四年（621年），在此设置西充县，人们习惯称西充为晋城。自唐至清，在西充有很多知县勤政爱民，仕绩显著，百姓敬仰，世代相传。或竖碑立传，彰其功德，或列名祭祀于文庙名宦祠，或单独修建祠堂，四时祭祀。有很多西充人在外做官，致仕还乡后，做了很多有益于民的事，便列入乡贤祠，四时祭祀。明清时期，西充县城建有三座名祠，一是明末在城东街修建的袁公祠，祭祀的是西充人袁谏。袁谏在明神宗万历二十三年（1595年）中进士后，曾任陕西神木（今陕西神木县）兵备道。神木在陕西东北部边陲、黄河西岸的窟野河流域，邻接山西省和内蒙古自治区，为历代兵家必争之地。宋设神木寨，元置神木县，长城斜贯境内。袁谏胸怀韬略，在此镇边抚民多年，很有建树。解甲归田后，恰值西充遭遇旱灾，颗粒无收，饿死了很多人。袁谏倾囊赈饥，救活了很多人，又捐资修桥，百姓无不感激，他死后，百姓建祠祭祀。二是清朝乾隆年间，在武庙右侧，修建的常公祠，祭祀的是西充知县常纪。常纪是奉天府承德人（今辽宁沈阳市），乾隆三十二年（1767年）中进士后，任西充知县，劝农桑，兴学校，尤于士林多所陶成，并修建武庙于城北街。乾隆庚寅岁（1770年），赴四川乡试，同考官选拔了很多名宿。时王师征金川（今四川金川县），调他去办理军粮，以温帅失利而殉节，西充百姓感其恩德，敬其忠义立祠祭祀。三是清朝嘉庆年间，在县城火神庙右修建的何公祠，祭祀的是西充知县何赐年。何赐年是安徽霍邱县人，嘉庆十九年（1814年）任西充知县，为官清正廉明，关爱百姓，仁慈教化，万民安宁。去任时，百姓扶老携幼，洒泪送别，寻闻病逝，百姓建祠祭祀。
嘉庆二十五年（1820年）春，西充著名才子李庄写了一篇《常公祠记》，竖碑祠内。文曰：“孔曰成仁，孟曰取义，仁义所在，死生以之节也，固气也。气之大者，在天星辰，在地河岳，在人则为节义。故士无论穷达，能励其节气，自有不可夺者。如我邑侯常公（常纪），起家进士，自乾隆丁亥年来官充邑，廉明仁恕，政简刑清，凡修举废坠而外，劝农课士，种种善政，口碑犹至今存焉。会辛卯（1771年）夏，金川逆酋僧格桑猖獗，诸大帅承王命徂征。是年九月，公调办军饷事务，士民泣饯，公弗之顾，慷慨就道。十月抵金川，隶定边大将军温营，随即破巴朗，取达维。公经营支度一切辎粮刍茭，罔有废事。越二年癸巳（1773年），趱拉既平，移攻浞浸。我师屯昔岭，其地迳仄碉坚，雨雪迷漫。无何将军失计，士卒奔溃，公之从者请从歧路遁。公曰：‘吾责官守义不苟去。’适索诺木贼目执公，强之跪。公厉詈（骂）：‘吾朝廷官，岂跪尔犬酋贼！’手刃之，于是遂与大将军并遇害。嗟夫！天地寓形人生，且死泰山鸿毛，惟气之有至不至耳。如我公者，操刀初试，亲历戎行，乃血噀（喷）蛮烟，碧埋边徼。则是颈可断也，而首不可俯；心可刺也，而膝不可屈。古人有言曰：‘大丈夫当死疆场，用马革裹尸。’盖其气壮，故其节弥劲也。如此，公既殁后，明年谷噶入焉尼克，又明年，噶喇败，逆魁就擒，两金川（大、小金川）悉平。献俘后论功，优奖公以殉难，得荫其子。充人怀其德，就武庙之旁为祠祀之，竖以丰碑，俾知忠义之事。大节攸关能死者，虽陷脰（颈项）决胸，犹之生也；不能死者，虽肉走尸行，犹之死也。读是碑者，或亦有以作其气云。公姓常讳纪号理斋，乾隆丁亥进士，奉天承德人。”