春秋时期，周昭王率兵攻打楚国被湘江所阻，楚国人民用胶粘的船载他们过江，船到江心胶化了，船沉了，昭王殁湘江，江畔的山由此而得名昭山。
昭山名声大震，得益于北宋著名的书画家米芾画的一幅《山市晴岚图》，传说米芾到此，十分敬慕这里的景色，即兴绘成《山市晴岚图》，并配诗一首：“乱峰空翠晴犹湿，山市岚错近觉遥。正值微寒堪索醉，酒旗从此不须招。”诗文写尽了昭山山市晴岚的姿色，从此昭山被列为“潇湘八景”之一。昭山之巅的昭山古寺有上千年的历史，禅寺始建于唐代，清乾隆二十三年（公元1758年）置产重修，内设玄帝宫、王皇宫、观音宫、观音堂、关圣殿等，有僧人住持，一年四季香火缭绕，钟磬之声不绝于耳，与山前滔滔湘水、山后袅袅炊烟相映成趣。传说古寺里住的是南岳圣帝的哥哥玄帝。玄帝的法力没有圣帝那么高，前来朝拜的人也没有那么多，但玄帝并不在乎，总是和善待人，用和煦的春风吹拂过往游人的身心，使人心情舒畅。所以前来昭山游玩的游客，无论心情多么的不好，一上山便觉得心旷神怡。民谚说：“湘有昭山，客子不乐远游”，就是因为有玄帝在此不断亲切地召唤游子。