沒有房子可住，柳宗元隻能住在一座荒涼的破廟裏，晴天還好，要是遇到雨天，那簡直沒法住。而且，永州這個地方的建築大多為竹材料。你說，用這樣的材料搭建的房子，能有多牢靠。那要是被大火一燒，那還不化為灰燼。想想，這唐憲宗也真夠缺德的，把柳宗元貶到這樣一個鬼地方。據說，當時這裏的人口居然不到4000人。也難怪柳宗元要說“萬徑人蹤滅”了。
當然，柳宗元認為不僅自己身體有病，他心裏麵也有病。何以見得，“非獨瘴癘為也”，這就是最好的說明。柳宗元心裏到底有什麼病呢？有一點可以肯定，他心裏認為自己沒有罪，但偏偏又被人判為有罪，有很多人不理解他。其實，這真的是一個心態問題，如果柳宗元他不那麼“硬”，他的日子會不會好過一點？我們來看柳宗元的內心真實想法，在《寄須京兆孟容書》中他這樣寫道：“付念得罪以來五年，未嚐有舊故大臣肯以書見及者。何則？罪謗交積，群疑當道，誠可怪而畏也。”
我柳宗元有什麼罪啊！改革又有什麼錯？自從我被貶五年以來，從來沒有一個人給我寫過一封信，這都什麼世道啊！有誰會誰會冒險來結交或理睬一個獲罪之人呢？他們早就躲得沒影兒了。
在《與楊京兆憑書》一文中，“每聞人大言，則蹶氣震怖，撫心按膽，不能自止”，柳宗元到永州很長一段時間，他都沒緩過氣來，一聽到有人大聲說話，他就心跳加速，臉色發白，腿打哆嗦。柳宗元給以前的上司，如嚴礪、嚴綬、趙宗儒、李吉甫等寫信，結果是石沉大海，曾經悉心關懷他的慈祥老人都不聽自己解釋，自己這過的算是什麼日子？
現在的柳宗元可謂是病痛纏身，身心交瘁。在永州的日子，柳宗元經曆了常人難以忍受的折磨。身體狀況愈來愈差，柳宗元說他已經不像是一個中原人了，他的頭發一天比一天少，神色憔悴，一陣風都可以把他吹倒。以前的記憶力還好，如今不行了，“每讀古人一傳，數紙已後，則再三伸卷，複觀姓氏，旋又廢失。”（《寄須京兆孟容書》）
如今的我看古人的傳記，在看了幾夜之後，要再三的翻回去看，看看傳記主人的姓名，可是不一會兒，就又忘了。柳宗元這個時候才37左右歲的樣子，按理說是正值壯年，記憶力應該很好。但是，現實是殘酷的，放誰到那樣惡劣的環境中生活，都不好過。柳宗元可能也感覺到自己時日不久，他開始嚴重的害怕起來。在這裏，可能有人要提出這樣的疑問了？你不是說柳宗元骨頭很硬嗎？他怎麼會害怕？
我要說，是人都要害怕。害怕並不代表骨頭不硬。我們還是先來看看柳宗元到底在害怕什麼？最讓柳宗元害怕的是他的後代問題。當然，你可能要說蘇軾被貶到黃州後，他還生了一個小兒子，難道柳宗元就不可以嗎？這是一點。
另外一點，像柳宗元這樣有名氣的人，他怎麼會糾結於這種個人問題呢？其實，這並不奇怪，隻要想想柳宗元的家族曆史就清楚了。
在《寄須京兆孟容書》中，柳宗元這樣寫道，“自以得姓來二千五百年，代為塚嗣。今抱非常之罪，居夷獠之鄉，卑濕昏，恐一日填委溝壑，曠墜先緒，以是怛然痛恨，心骨沸熱。煢煢孤立，未有子息。”
柳宗元說他們柳家自有姓以來，已有2500年的曆史了，柳家是一代一代的都有嫡傳長子相傳。如今，我柳宗元犯下大罪，被貶到這荒涼偏僻得地方，由於環境極度惡劣，我的身體一天比一天差，我害怕不知道哪一天突然斷氣，那柳家的香火就沒了，一想到這裏，心情就非常的憂傷痛恨。我現在是孤獨一人，沒有孩子，柳家就要斷後了，我該怎麼辦啊！
想想確實如此，柳家是河東三著姓之一，這是多麼硬氣的一個曆史悠久的大家族啊！如今就要徹底敗在柳宗元手裏，柳宗元這種害怕也算是情理之中，我們現在的人都挺重視這個的，何況古人乎？那麼，現在就有一個問題了，柳宗元難道就沒有結過婚，或者說柳宗元就沒有生過孩子？
柳宗元在24歲的時候曾經娶了弘農楊氏女。能被柳宗元看上的女子，那一定出生不簡單。確實如此，這個弘農楊氏是古代中原地區的名門望族，柳宗元的嶽父曾經擔任過京兆尹。但是，柳宗元娶的這位楊氏之女腿部有嚴重的疾病，走路很不利索。更要命的是，她在懷上孩子後，因為難產而死了，那孩子自然也沒能過順利生下來，這是柳宗元心中的一大隱痛。此後，柳宗元10多年中都沒有再娶妻。但是，我們從柳宗元貶到永州後的期間，卻發現他的母親和女兒因為條件艱苦而撒手人寰。這就奇怪了，柳宗元怎麼有一個女兒啊！