柳宗元的一生，文學上是成功的，政治上是失敗的，而婚姻生活則是不幸的。
柳宗元十三歲時，隨其父柳鎮在夏口李兼幕府生活，因其才華出眾，深受父親同僚楊憑的器重，並將自己九歲的女兒許給了這位“奇童”。
由於是雙方父親作主定下的娃娃親，柳宗元和楊小姐當然還談不上什麼感情。接下來，就是柳宗元隨父親返回長安，父親柳鎮被貶官，柳宗元剛中進士，又遭父親病故，守喪三年，直到貞元十二年（796），柳宗元服喪期滿，出任秘書省校書郎，才得以和楊小姐完婚。他們二人幼年訂婚，中間雖多經分隔，但婚後夫妻感情甚好。柳宗元又考中博學鴻詞，出任集賢殿書院正字，生活理應是幸福的。但楊氏素有足疾，行路不便。婚後雖曾懷孕，但未曾留下子女。就在柳宗元任集賢殿書院正字的第二年，楊氏即因足疾不幸去世，年僅二十三歲。結婚三年，她便拋下二十七歲的柳宗元而去，這使柳宗元極為悲痛，為其寫下了《亡妻弘農楊氏誌》一文，以示哀悼。從此以後，柳宗元再也沒有正式娶妻。
柳宗元此後未正式娶妻，倒不是說明他忠於和楊氏的愛情，而是另有他因。一方麵是他年輕時熱衷於事業，後半生又淪落遭貶，這無疑影響了他對家庭婚姻問題的處理。另一方麵，恐怕也是更主要的原因，是他受傳統的門第觀念束縛，未找到門當戶對的婦女作為正室。柳宗元不是獨身主義者，他後來曾和幾位婦女共同生活過。
柳宗元被貶永州後，在巨大的政治挫折麵前和激烈的思想鬥爭中，也曾有過灰心失意之時，而對無妻無子之事，尤為糾結。他在《與許京兆孟容書》中說：“煢煢孤立，未有子息。荒陬（zōu，山腳）中少有士人女子，無與為婚，世亦不肯與罪大者親昵。以是續嗣之重，不絕如縷……”在《與楊京兆憑書》中，他也毫不隱諱地向其前嶽丈吐露情懷：“身世孑然，無可以為家。雖甚崇寵之，孰與為榮？獨恨不幸獲托姻好，而早凋落，寡居十餘年。嚐有一男子，然無一日之命。至今無以托嗣續，恨痛常在心目。孟子稱不孝有三，無後為大。今之汲汲於世者，惟懼此而已矣。天若不棄先君之德，使有嗣續，或者猶望延壽命以及大宥（yòu，指大赦），得歸鄉閭，立家世，則子道畢矣。”在《與李翰林建書》中，他甚至說，自己“惟欲為量移官差輕罪累，即便耕田藝麻，娶老農女為妻，生男育孫，以供力役。”由此足見，柳宗元對於娶妻生子，續柳氏煙火之事是非常重視的。他為無妻室而感到孤獨，他為無子息而痛苦自責。他不是不想娶妻，而是沒有合適對象：一是荒僻的永州“少有士人女子”，二是即使有，也恐人家不願嫁給他這個罪人。至於說願“娶老農之女為妻”雲雲，也隻是說說罷了。他是絕對不會娶一個農家女為妻的。他渴望“立家世”“生男育孫”以盡人子之道，但一直苦於沒有合適的對象。
柳宗元在楊氏去世後，他的母親盧氏一直跟他在一起，照料他的生活。永貞八年（805），盧氏因水土不服而逝於永州，這使柳宗元的日常生活更陷於困境。元和五年（810），柳宗元開始作“甘終為永州民”的打算，於是在冉溪上購得一塊土地，構亭築屋，過上了與農圃為鄰的村居生活。也就在此時，他和一位身份較低的女子結合，並生了女兒。元和五年，他有一個叫和娘的女兒去世，他寫下了《下殤女子墓磚記》，其中說到和娘出生在長安的善和裏，可見其母應為柳宗元在長安時的侍妾，似乎未跟柳宗元到柳州來。柳宗元還有一篇《馬室女雷五墓誌》，其中說到雷五之姨“為妓於餘”，可見這個女人也是他卜居冉溪前後和他在一起的。柳宗元去世時還留下兩個兒子，大的叫周六，時年四歲；小的叫周七，為遺腹子，而這兩個兒子的母親大概是在柳州與柳宗元同居的侍妾，同樣沒有留下姓名。由此可知，在楊氏去世後，柳宗元身邊幾乎從來沒有離開過女人，她們都和柳宗元同居，但又都非“士人女”，所以也都沒有資格成為柳宗元的正妻。
柳宗元在楊氏去世後未再正式娶妻，這完全是囿於當時的等級、門第觀念。我們雖不可苛責於他，但也隻能說是“自食其果”了。好在蒼天有眼，不知哪位同居的女子給他生了兩個兒子，使柳氏後繼有人，香火得傳，柳宗元也可以免去“不孝”之罪名而安息於九泉之下了。