在整個音樂史上，尤其在法國音樂史上，柏遼茲是那麼罕見的一個人，既無古人，又無來者，自棄於傳統之外，乖戾矜持，時而平庸低下，時而出類拔萃，簡直是一個怪物。正像有些評論家所說的：“柏遼茲的創作中最優秀的東西使人驚歎，其最壞的東西使人恐怖——二者以不同的程度難解難分地混合在一起。”
柏遼茲的愛情經曆與他的藝術生涯一樣黯淡無光。1827年9月，英國查爾斯·凱恩布爾劇團來巴黎演出莎士比亞的名作，柏遼茲每場必到，他深深地被精彩的表演吸引，幾乎神魂顛倒。在他心目中，莎劇中的朱麗葉、奧菲利婭、苔絲德蒙娜無疑就是現實生活中的斯密森小姐（上述三個女主角的扮演者）。他把她幻化成心目中最美麗的天使，並把她想象成自己終生的伴侶。他狂熱地給心目中的天使寫信，一封接一封，感情摯熱，措詞激烈，瘋狂地追求斯密森小姐。對斯密森小姐的冷漠，他居然不顧一切地衝上後台，當眾跪在斯密森小姐麵前向她求愛！當然，斯密森小姐無動於衷，劇團同仁微笑著把柏遼茲請下舞台。後來音樂家聽信了別人關於她的卑劣的誹謗，他陷於極度的悲苦之中。這卻刺激了他創作的靈感，他創作了自己生平第一部大型代表作《幻想交響樂》。在這部樂曲裏，他把斯密森小姐描寫成一醜惡的形象，以此來抒發他的憤懣。
這沉重的打擊使柏遼茲無法正常生活，他決定隨便找一個姑娘，迅速完婚。於是他選中了他的一位“好哥們”的戀人——年輕的女鋼琴家摩克小姐。他不顧摩克小姐男友的存在，以超常的勇氣猛烈地追求摩克小姐，並最終贏得了摩克小姐的芳心。摩克小姐的母親卻刁鑽狡猾，她先是爽快地答應了婚事，然後一再拖延，並借機讓柏遼茲出國，以此答應他與摩克小姐的訂婚。於是柏遼茲登上了去羅馬的旅程。在羅馬，柏遼茲意外收到摩克母親一封解除婚約的信，說摩克已經同另外一位有錢的稱心如意的人結婚了。柏遼茲怒火中燒，頓起殺機，他迅速購置了手槍、毒藥、匕首和一套華麗的女裝（他準備男扮女妝，行動起來也較方便），然後踏上了回國的路程。他妄想殺死摩克的全家以及她的丈夫。這個天才的瘋子並沒有如願以償。這一次他被警察當成“燒炭黨”的密探抓獲，並被押回羅馬。當他第二次行動時，他的一切行裝又在途中被小偷偷走。但他並不因此放棄，而是一聲不吭地回到羅馬，重新備齊東西，又一次出發。這一次他來到了法國東南端的港口城市尼斯。這裏優美的景色使他創作了流芳百世的佳作《李爾王》，而藝術的聖水則洗滌了他報仇的心靈。
當他回到巴黎時，他又幸運地遇到了斯密森小姐。二人於1833年10月3日正式結為夫婦，婚禮在英國駐法大使館隆重舉行。他們幸運地相遇也造成了他們婚後的不幸。柏遼茲在巴黎二遇斯密森小姐時，她已年老色衰且債台高築。婚後柏遼茲發現她與當年自己幻想中的斯密森小姐毫無相像之處，而且她根本不了解自己。
9年之後，他不得不離開了斯密森。這段浪漫史就這樣痛苦地結束了。
1854年，柏遼茲第二次結婚，他娶了蹩腳的西班牙女歌唱演員瑪麗婭·瑞茜歐。她強迫柏遼茲為她招攬上演的業務，為她安排角色，因此他還鬧了許多笑話，但他卻十分愛她。他們的生活並不算幸福，瑞茜歐體弱多病，這使得經濟上本來就很拮據的藝術家愈發雪上加霜，負債累累。瑞茜歐於1862年病逝，柏遼茲痛苦不堪。1867年2月，更大的打擊向他襲來——長年在海上航行的，年僅33歲的兒子路蘇因病客死於美洲。
柏遼茲從精神到身體都徹底崩潰了。1869年3月8日，柏遼茲孤苦伶仃地離開了這個世界。生前寂寞，死時孤獨。