柳宗元的一生，文学上是成功的，政治上是失败的，而婚姻生活则是不幸的。
柳宗元十三岁时，随其父柳镇在夏口李兼幕府生活，因其才华出众，深受父亲同僚杨凭的器重，并将自己九岁的女儿许给了这位“奇童”。
由于是双方父亲作主定下的娃娃亲，柳宗元和杨小姐当然还谈不上什么感情。接下来，就是柳宗元随父亲返回长安，父亲柳镇被贬官，柳宗元刚中进士，又遭父亲病故，守丧三年，直到贞元十二年（796），柳宗元服丧期满，出任秘书省校书郎，才得以和杨小姐完婚。他们二人幼年订婚，中间虽多经分隔，但婚后夫妻感情甚好。柳宗元又考中博学鸿词，出任集贤殿书院正字，生活理应是幸福的。但杨氏素有足疾，行路不便。婚后虽曾怀孕，但未曾留下子女。就在柳宗元任集贤殿书院正字的第二年，杨氏即因足疾不幸去世，年仅二十三岁。结婚三年，她便抛下二十七岁的柳宗元而去，这使柳宗元极为悲痛，为其写下了《亡妻弘农杨氏志》一文，以示哀悼。从此以后，柳宗元再也没有正式娶妻。
柳宗元此后未正式娶妻，倒不是说明他忠于和杨氏的爱情，而是另有他因。一方面是他年轻时热衷于事业，后半生又沦落遭贬，这无疑影响了他对家庭婚姻问题的处理。另一方面，恐怕也是更主要的原因，是他受传统的门第观念束缚，未找到门当户对的妇女作为正室。柳宗元不是独身主义者，他后来曾和几位妇女共同生活过。
柳宗元被贬永州后，在巨大的政治挫折面前和激烈的思想斗争中，也曾有过灰心失意之时，而对无妻无子之事，尤为纠结。他在《与许京兆孟容书》中说：“茕茕孤立，未有子息。荒陬（zōu，山脚）中少有士人女子，无与为婚，世亦不肯与罪大者亲昵。以是续嗣之重，不绝如缕……”在《与杨京兆凭书》中，他也毫不隐讳地向其前岳丈吐露情怀：“身世孑然，无可以为家。虽甚崇宠之，孰与为荣？独恨不幸获托姻好，而早凋落，寡居十余年。尝有一男子，然无一日之命。至今无以托嗣续，恨痛常在心目。孟子称不孝有三，无后为大。今之汲汲于世者，惟惧此而已矣。天若不弃先君之德，使有嗣续，或者犹望延寿命以及大宥（yòu，指大赦），得归乡闾，立家世，则子道毕矣。”在《与李翰林建书》中，他甚至说，自己“惟欲为量移官差轻罪累，即便耕田艺麻，娶老农女为妻，生男育孙，以供力役。”由此足见，柳宗元对于娶妻生子，续柳氏烟火之事是非常重视的。他为无妻室而感到孤独，他为无子息而痛苦自责。他不是不想娶妻，而是没有合适对象：一是荒僻的永州“少有士人女子”，二是即使有，也恐人家不愿嫁给他这个罪人。至于说愿“娶老农之女为妻”云云，也只是说说罢了。他是绝对不会娶一个农家女为妻的。他渴望“立家世”“生男育孙”以尽人子之道，但一直苦于没有合适的对象。
柳宗元在杨氏去世后，他的母亲卢氏一直跟他在一起，照料他的生活。永贞八年（805），卢氏因水土不服而逝于永州，这使柳宗元的日常生活更陷于困境。元和五年（810），柳宗元开始作“甘终为永州民”的打算，于是在冉溪上购得一块土地，构亭筑屋，过上了与农圃为邻的村居生活。也就在此时，他和一位身份较低的女子结合，并生了女儿。元和五年，他有一个叫和娘的女儿去世，他写下了《下殇女子墓砖记》，其中说到和娘出生在长安的善和里，可见其母应为柳宗元在长安时的侍妾，似乎未跟柳宗元到柳州来。柳宗元还有一篇《马室女雷五墓志》，其中说到雷五之姨“为妓于余”，可见这个女人也是他卜居冉溪前后和他在一起的。柳宗元去世时还留下两个儿子，大的叫周六，时年四岁；小的叫周七，为遗腹子，而这两个儿子的母亲大概是在柳州与柳宗元同居的侍妾，同样没有留下姓名。由此可知，在杨氏去世后，柳宗元身边几乎从来没有离开过女人，她们都和柳宗元同居，但又都非“士人女”，所以也都没有资格成为柳宗元的正妻。
柳宗元在杨氏去世后未再正式娶妻，这完全是囿于当时的等级、门第观念。我们虽不可苛责于他，但也只能说是“自食其果”了。好在苍天有眼，不知哪位同居的女子给他生了两个儿子，使柳氏后继有人，香火得传，柳宗元也可以免去“不孝”之罪名而安息于九泉之下了。