到任後十天，李益就請假回家探望母親。在他還未到家時，母親已為他和盧氏表妹商定了婚事。李母一向教子嚴格，李益怎敢違抗，隻得答應下來。盧家是名門富戶，女兒出嫁，所要聘禮很多。李家比較清貧，隻得到各地找親朋故舊到處借錢。這樣一來，一下就耽誤了幾個月時間。
李益因誤了與小玉約定的日期，加上母親逼他盡早與盧氏成婚，所以便不再同小玉通消息，以便斷了她的念頭。
小玉見李益過了約定日期還沒回來，便托人到處打聽他的消息。一年以後，小玉因整日憂愁，思念李公子而身染重病。即使這樣，她還是一天也放不下對李益的無限想念。
那時，跟李益訂婚的盧家小姐也搬到了長安。李益從各地籌集了聘金後，先回鄭縣請了假，然後就到了長安，準備與盧氏結婚、為不讓小玉打聽到，他租了一處僻靜房屋住下來。李益有位表弟叫崔允明，為人十分厚道。當他得知李益到長安的消息後，馬上去告訴了霍小玉。於是，小玉四處托親友邀請李益來家裏，想跟他見上一麵。但李益覺得自己背了盟約，又知小玉病重，心中感到有愧，始終不敢去見小玉。
霍小玉因見不到李益，吃不下睡不安；日夜啼哭不止。她心中的委屈和對李益的痛恨，日甚一日，致使病情更加嚴重，終於臥床不起了。
後來，長安城不少人知道了這件事，都為小玉的遭遇而憤憤不平。一天，李益約幾個朋友去崇敬寺遊玩。其中一人對李益說道：“你拋棄小玉，未免太殘忍了。一個常堂男子漢，是不該這麼無情無義的!”不想這話被旁邊一位義士聽到了。
一會兒，那義士走來對李益施禮道：“你就是李公子嗎?咱們是同鄉，說起來還有些親戚關係呢。我向來佩服你的才華，早想跟你好好敘一敘，不想今日在此相見。我家離這兒不遠，想請李公子到家坐坐。”李益信以為真，便答應下來。那義士和李益騎馬而行，不知不覺到了小玉家的門口。李益想撥馬而回，但已經晚了。那義士硬拉住李益的馬韁。把他拽到小玉家中，然後鎖了大門。
小玉久病在床，平時連翻身都很困難。而今聽說李益到了，竟然一骨碌爬起來，穿好衣服，迎了出去，但當她見到李益後，隻是狠狠地瞪著兩眼，一句話也說不出來。過了好一會兒，小玉才說道：“你個負心的東西，毀了我的一生。今天你我就要永別了。我死後一定變個惡鬼，叫你娶了別的女子，也永遠不能過安穩日子!”說完，抓住李益的手臂，大哭幾聲，死去了。
一個多月後，李益和盧氏結婚。但他一想起小玉的事情，就感到十分悲傷，所以總是鬱鬱不樂。沒多久，他忽然發現一個小夥子藏在床下邊，正在招呼盧氏，但上去尋找，卻不見人影。從此，他對盧氏產生懷疑和忌恨，還動不動就凶暴地打罵盧氏，最後便把她給休了。此後，他又先後與三個女人結婚，但沒一個和得來的，經常吵架拌嘴，處處懷疑猜忌，始終不得美滿。
謝小娥複仇
唐朝時，南昌一帶有個叫謝小娥的女子，她是一個販運商人的女兒。小娥八歲時死了母親，後來和曆陽郡〔今安徽和縣一帶〕的一豪俠段居貞結了親。段居貞很講義氣，廣交英雄豪傑。小娥的父親積聚了巨大的財產，隱姓埋名在商人中間。他常常和女婿段居貞同船出去做買賣，往來於江湖上。
謝小娥十四歲那年，剛剛插簪〔zān〕束發，不幸父親和丈夫都被強盜殺死，金銀財物也被搶劫一空。同時遇難的還有段居貞的兄弟、小娥父親的徒弟、侄子和書童奴仆幾十人，全被扔進了江底。小娥胸部受傷，腳被打斷，在江上漂流，幸被其他的船救起，搶救了一夜才蘇醒過來。從此，小娥到處要飯，流浪到了上元縣，被妙果寺的尼姑淨悟收容，在她廟裏住下了。
當初，父親被害死不久，小娥就夢見父親對她說：“殺我的人，是‘車中猴，門東草’。”過了幾天，小娥又夢見丈夫對她說：“殺我的人，是‘禾中走，一日夫’。”小娥猜不透這話是什麼意思，她把這幾句話寫在紙上，四處求聰明的人加以解釋，可過了一年也得不到答案。
一位判官道出了他知道的全部：唐憲宗元和八年(公元813年)春天，我被解除了江西從事的官職，乘小船沿江東下。船停泊在建業〔今南京市〕城下，我登上瓦官寺的閣樓遊玩。寺裏有個和尚叫齊物，敬重賢士，愛好學問，和我交情很好。他告訴我說：“有一個名叫小娥的寡婦，每次到寺裏來，都給我看十二個字的謎語，我猜不出來。”於是，我請齊老和尚把謎語寫在紙上，就勢靠在欄杆上，用手指在空中反複比劃這些字，聚精會神地默默思考。不一會兒，我便明白了字中的含義。吩咐廟裏的小和尚趕快把謝小娥叫來，詢問原委。小娥嗚咽哭泣了好一陣，才說：“我的父親和丈夫，都被強盜殺害了。事後曾夢見父親告訴我說：‘殺我的人是“車中猴，門東草”。’我丈夫也在夢裏說：‘殺我的人是“禾中走，一日夫”。’一年多了也沒有人能猜破這些謎語。”我便說：“如果是這樣，我已經全弄清楚了。殺你父親的是申艸闌，殺你丈夫的是申春。所謂‘車中猴’，車〔車〕字去掉上邊和下車的一畫，中間是個申字；按照十二屬相，申屬猴，所以說車中猴。這‘門東草’，草下有門，門中有東，就是個艸闌字了。再看‘禾中走’，就是從田中穿過，也是個申字。‘一日夫’，‘夫’字上麵加一畫，下邊有個‘日’字，合起來是‘春’字。殺你父親的是申艸闌，殺你丈夫的是申春，這已經很分明了。”小娥痛哭失聲，拜倒在地，又把申蘭、申春四個字寫在衣服中，發誓要把這兩個強盜找到殺死，報仇申冤。小娥問了我的姓名、宗族，流著眼淚走了。
此後，謝小娥便換上了男子的服裝，在江湖上當雇工。一年多以後，到了潯陽郡〔今江西九江一帶〕，看到竹門上有一張告示，說要招收雇工。小娥就到門前去應招，一問主人，原來是申蘭。申蘭把她帶回家裏，小娥內心裏無比憤恨，外表上卻很恭順，在申蘭左右侍奉他，很得寵信。申蘭就把金錢的開支收入，全都托付給了謝小娥。過了兩年多，始終不知道謝小娥是個女人。謝家原來的金銀珠寶、錦繡綢緞、衣服器具，搶來後都放在申蘭家中。小娥每次拿起自家的舊物，就不禁暗暗哭泣，好一陣才能勉強忍住。
申蘭和申春是同宗兄弟。那時申春一家住在長江北岸的獨樹浦，與申蘭往來密切。申蘭和申春常常一同出去個把月，就得了許多錢財回來。每次外出，他們就叫謝小娥與申蘭的妻妾一起看家，把許多酒肉和衣服留給小娥。有一天，申春拿著酒和大鯉魚來看望申蘭。小娥背地裏歎息說：“李先生領會得深，推斷得神，全都符合夢裏的暗示。這是老天啟發了他的心，我報仇的誌願就要實現了。”當天晚上，申蘭和申春召集了一群強盜，都到申蘭家裏開懷暢飲。等到群賊走後，申春已經喝得爛醉，躺倒在屋裏，申蘭也露天睡在了庭院裏。謝小娥悄悄地把申春鎖在了屋裏，抽出佩刀先砍下申蘭的腦袋，然後大聲呼喊，把鄰居們都叫來。結果，申春在屋裏被捉，申蘭在室外被殺，搜出的贓物價值上千萬。早先，申蘭、申春有幾十個同夥的強盜，謝小娥都暗暗記住了他們的名字，這時也全部逮捕歸案，處以死刑。當時任潯陽太守的張公，讚賞小娥的誌氣和行為，便上表把她的事跡報告皇帝，才赦免了她的死罪。這時是元和十二年(公元817年)的夏天。
報了殺父、殺夫的大仇之後，謝小娥回到故鄉，看望親戚、族人。本地的豪門大族爭相前來求親。可是小娥立誌不嫁，於是剪掉頭發，換上黑色的僧衣，到牛頭山裏訪師學道，拜德高望重的尼姑和精通佛法的和尚為師。小娥誌向堅定，苦心修行，頂著風霜舂米，冒著雨雪砍柴，不辭辛苦，不怕勞累。到元和十三年四月，小娥在泗州的開元寺裏接受了最完備的佛門戒律。還是以小娥作為法號，表示不忘本。
這一年的夏天，我才動身回長安。途中經過泗水之濱，我便進入善義寺，拜見德高望重的尼姑令。看見新近受戒的幾十個尼姑，全是新剃的頭，穿著新僧衣，舉止莊嚴而合乎法度，排列在師父的身邊侍候。其中有一個尼姑問師父說：“這位官員莫非是洪州的李判官，排行二十三的先生嗎?”師父說：“是呀。”尼姑說：“使我能夠報了家仇，洗雪沉冤，全靠這位判官的恩德呀!”她望著我傷心地哭了起來。我卻不認識她，便向她打聽原因。她回答說：“我名叫小娥，當年是一個要飯的寡婦。判官曾經幫我分析出了申蘭、申春兩個強盜的名字，難道您不記得了嗎?”我說：“剛見麵時記不清，現在想起來了。”小娥流著眼淚，原原本本地講述了當時怎樣記住申蘭、申春的名字，自己怎樣報了父親和丈夫的冤仇，又怎樣身入佛門得以了卻心願及這一過程中受盡艱難困苦的情況。小娥又對我說：“報答判官的大恩，總會有機會的。”她多年的艱苦奔波，並不是徒勞的呀!
啊!我能夠分析出兩個強盜的姓名，小娥又終於報了父親和丈夫的冤仇，天道並不昏暗，這是明顯可知的呀。小娥容貌忠厚，而言語深刻；天資聰敏，而品行端正；她不怕身殘，苦心修行，立誓探求真理，自從她出家以後，不用棉絮不穿絲綢，吃齋不放鹽和油，凡是不符合佛門教義和法規的話，從來不說。幾天以後，小娥告訴我她要回牛頭山了，以後還要乘船渡過淮水，到南方去遊曆。從此我再也沒有見到她。
柳氏傳