黄龙观乃清代康熙年中冲虚观住持张妙升所创建。虽然建筑时间不足三百年，但观址却是葛洪西庵故址，也是南汉王刘在罗浮所建的天华宫旧址。后梁贞明三年（公元917年），广西靖海军节度使刘隐之弟刘岩，在广州自立为王。国号为汉，改年号为乾亨，史称南汉。南汉乾亨三年（公元919年），刘岩梦见神人指点：“罗浮之西，去延祥寺西北百步，有两峰相叠、一水对流，可以为宫。”后经查明，罗浮山金砂洞中，大、小石楼二峰相峙，一泉分两股对流而下，正与梦境相似。就在金砂洞中大兴土木，兴建了金碧辉煌的行宫。刘岩亲临此行宫视察，甚感满意。晚上歇息之时，他梦见一条黄龙从宫侧腾身而起，一飞冲天。刘岩非常高兴，认为是国运永固之吉兆。就将金砂洞改名为黄龙洞，又取《易经·乾》“飞龙在天”之意，自造一个“”字，改名为刘，在位二十五年。南汉王位后传刘玢（在位一年）、刘晟（在位十六年），最后传给刘（在位十四年，号大宝。）这时，五代十国诸侯割据的局面即将土崩瓦解。刘已预感到皇朝末日即将来临，就于大宝二年（公元959年）在罗浮先祖行宫中扩建天华宫。据史书载，天华宫中，一切按皇宫格式、体现皇者风范而建。“前为甘露亭、羽盖亭、云华阁。殿右为起云门，左为含阳门”，富丽堂皇。他准备在罗浮占山为王。为了预防万一，他下令在增城开凿水道，直通罗浮。“无事则为登临之乐，有警则为逃逋之数。”但是，正如天成年间在罗浮山出土的古剑铭文所言：“丁与水同宫，王将耳口同。尹来居口上，山岫护重重。”宋太祖赵匡胤黄袍加身，一统中原。大宝十四年（公元971年），南汉王朝灰飞烟灭。富丽堂皇的天华宫也随着岁月的无情冲刷而成为残墙败瓦，埋没在荒草荆棘丛中，留下泡沫式的辉煌。而黄龙洞却因此成为罗浮胜迹。历代游人以一睹南汉遗址为快事。一首佚名的《黄龙洞》诗，被视作“无名仙”的“神仙诗”，收录在历代的《罗浮山志》之中。诗曰：“云外观山出怪奇，云间缥缈立多时。壑舟有力如何负，泉锡无源底处移。千古流传成胜迹，几人修炼得真机？迟留为爱黄龙洞，松下闲寻一局棋。”
清代康熙年间，山东崂山派道士张妙升（字云仙）与有“杜祖”之称的杜阳栋同兴冲虚古观。张妙升在黄龙洞中凭吊古迹，只见“宫成瓦砾，人去台荒”，无限唏嘘。然而，他发现南汉主选此地为宫，又实在有眼光独到之处。黄龙洞三山环抱，大有“左青龙，右白虎”之旺势。左侧大、小石楼互相对峙，洞中一泉飞泻，两瀑交流；山间重峦叠翠，涧边仙草茵茵。最难得的是：站在高处远眺，可见阡陌纵横，东江如练；一望平川，紫气东来，令人心旷神怡。真乃修身养性，悟道论玄的最佳洞天。于是，张妙升就在黄龙洞天华宫故址上，创建了黄龙观。自此，罗浮道教中，就多了一间全真崂山派宫观。由于经费不足，黄龙观创建初期，观小殿浅，道士寥落，默默无闻。
宋明以来，罗浮仙山之中，道观佛寺如林，香火鼎盛。而儒门理学家也在此大开讲学之风。《罗浮山志》就记道：“儒家讲学之盛，海内莫有过于罗浮者。”明代增城人湛若水在官场退隐后，以九十岁高龄，在罗浮朱明、青霞两洞兴建甘泉精舍，设馆授徒，“弟子三千人”。足见明清时期罗浮儒学之盛。
在黄龙洞天华宫旧址附近，明代南海弼唐乡人庞嵩兴建了天华仙苑，也就是弼唐精舍，又称庞子讲堂。黄龙瀑布涧边石壁，记述兴建弼唐精舍经过的摩崖石刻至今犹存。文曰：“大明嘉靖戊戌（公元1538年）冬十二月，南海庞嵩始至罗浮朱明馆。两广门人欧继韩等几百人，人己亥（公元1539年）秋建弼唐精舍于黄龙洞。辟予所等，岩刻八卦，石修洞门，凿跻云路。”
湛若水还在天华宫旧址旁建了一座“四贤祠”。奉祀儒家理学名人周廉溪、罗豫章、李延平、陈白沙。湛若水逝世后，巡按御史洪坦又增祀湛若水，改称“五贤祠”。至清代康熙年间，五贤祠日久失修残破不堪。康熙六十一年（公元1722年）春，惠州知府吴骞游黄龙洞时，见“名贤祠宇磨灭于荒烟蔓草中，不胜叹息者久之”。就捐出俸银重修，仍名为“四贤祠”。
罗浮成为儒家胜地，与佛、道成三足鼎立之势，相得益彰。这在我国的名山大川中都为罕见。而黄龙洞也成为儒家弟子、文人墨客必游的胜地。他们拜谒四贤祠必到黄龙观，游黄龙观必拜四贤祠。道儒之间，互相促进。相比之下，黄龙道观极需进一步扩建发展。道门中人进一步认识到黄龙观所在的黄龙洞天造地设的灵圣之处：天华宫之南汉“飞龙在天”残梦足见其古；“两山对峙，一水交流”足见其奇；“黄龙观口松千树”、“满天风雨玉龙飞”足见其秀；日月池岩中隐翠，八卦洞巨石成室足见其幽。而流泉佳石更是黄龙洞的一大特色。于是道门中的有识之士，都一致认为要进一步扩建黄龙观，以不负黄龙洞中佳景。清嘉庆壬申（公元1812年）住持苏空施募款重修黄龙观。扩宇拓建，增补殿堂，使之蔚成大观，在罗浮宫观中占有其重要之一席。见证当年重修盛况的“黄龙观”石刻门额匾，至今犹存。清光绪中，黄龙观的扩建工作仍在继续，观中堂廊殿宇不断增拓，奇石胜景逐渐被发现开拓，成为黄龙观的一大特色，吸引无数游人云集观赏。黄龙观逐渐成为与冲虚、酥醪古观齐名的大观。直到清末民初，黄龙观仍香火鼎盛。
1958年，“大跃进”之风刮起，在“大炼钢铁”的口号下，黄龙观后的古树被砍伐烧炭，观中铜铁之物，尽被砸烂收去炼钢。到“文革”期间，黄龙观终于难逃劫难。黄龙观殿宇尽毁，只有败瓦残垣遗留在草丛中。
在改革开放的春风吹拂下，我国宗教政策得以全面落实。1992年春，香港青松观环球观主侯宝垣一行，在县政府官员陪同下视察了黄龙观故址。侯道长一方面为黄龙洞的灵山洁水所折服，一方面又为黄龙观的颓废而叹息。终与博罗县政府签订了重建黄龙观协议书，由香港青松观拨巨资在原址重建。这一浩瀚工程从1993年四月初八奠基动土，耗资五千多万元，终于竣工。1995年十月初八下午二时举行盛大的开光庆典。当时，天边有两条带状白云，宛如游龙在天边飞舞，蔚为奇观，约十多分钟才隐隐散去。成千来宾众目睽睽，啧啧称奇。正是“黄龙不见见白龙”。以后又不断增建了黄龙大道、慈恩亭和大型牌坊等，至今耗资已超亿元。
重修后的黄龙观规模宏伟。三座古朴典雅的牌坊，雕梁画栋，迎客入山。观门“黄龙腾碧海，白鹤集青松”的楹联，分外令人注目。长廊殿宇，互相勾连，浑成一体。古朴宫观与青山白云、奇峰灵岩融为一体。观内外古迹如云，景色如画，楹联如林。自然景观与人文景观互相辉映，相得益彰。虽然它重现罗浮仅短短十多年，但它占地和建筑面积最大，宗教文化氛围最浓，既有葛仙西庵的千年古风，又有现代社会的时代气息，成为罗浮山上唯一能与冲虚古观平起平坐，甚至在一些方面还胜一筹的道家宫观。