中唐时期的永州，确是一块荒蛮之地。柳宗元在《与李翰林建书》中曾有过这样的描述：“永州于楚为最南，状与越相类。仆闷即出游，游复多恐。涉野有蝮（huì，一种毒蛇），大蜂，仰空视地，才步劳倦。近水即畏射工、沙虱，含怒窃发，中人形影，动成疮痏（wěi，伤口）”。环境如此恶劣，而他到永州来做司马，不仅没有宾馆接待，而且连栖身之所也没有。万般无奈之中，他们一家只好暂时寄寓龙兴古寺中。
唐代的佛寺，有接纳客人寓居的习俗。这龙兴寺位于永州潇水东岸，相传此处原为三国时名将蒋琬的住宅，吴军司马吕蒙也曾在此住过，后来改成了寺院。由于年代久远，此寺已经相当荒凉破旧。柳宗元初来之时，寺内是“凫（fú，野鸭）鹤戏于中庭，蒹葭生于堂庭”；寺外则是丛林乱石，人迹罕至。柳宗元所住的西厢房，原来只是北面有窗，光线暗弱，潮湿闷热。他又在西墙上开了一个窗户，环境才稍有改善。此寺建在高处，远眺则可见西山和湘江之景，亦可一抒胸中之郁闷。
柳宗元之所以能安心在佛寺住下来的另一原因，可以说是他的佛缘。柳宗元家世习佛，他母亲信佛，他自己也早就倾心于佛说。在《送巽上人赴中丞叔父召序》中，他曾说：“吾自幼好佛，求其道，积三十年。”可见他从幼年起，即已开始求佛了。在长安时，他就结识了浮屠文畅。龙兴寺的住持重巽是天台宗的和尚，学养和道行都有相当的水平。柳宗元居此，与他一起问道参禅，不但加深了对佛理的理解，而且也得到了心灵上的安慰。
柳宗元在永州居佛寺达四五年之久，这一方面说明他这个“员外”的永州司马不仅是个“闲员”，而且是个“罪犯”；而另一方面也说明他遭到严重政治打击，身家沦落之时，需要佛教的解脱意识替他抚平心灵的创伤。他居住在佛寺中，与僧人朝夕相处，既有大量的闲暇时间研习佛教经典，又有重巽这样的高僧传授天台宗教义，还交结了“石门长老”觉照、琛上人等，以致后来柳宗元被列入天台宗重巽的俗弟子。后来龙兴寺重修净土堂，柳宗元也出资修了回廊，并写下了《永州龙兴寺修净土院记》和《净土堂》诗。
由于柳宗元对佛教的信仰和表现出的热情，也使他的家庭更充满了佛教气氛。除了他母亲笃信佛教外，他的女儿和娘也是一个佛教的痴迷者。元和五年，十岁的和娘得重病后，更名为“佛婢”；后又去发为尼，法号“初心”，死后柳宗元专门为其写了《下殇女子墓砖记》，对她加以表扬。
可以说，永州的特殊生存状态，使柳宗元与佛教更结下了不解之缘，也使他更加完善了自己“统合儒释”的思想。