可事情偏偏急轉直下，李益懦弱的性格導致他采取了錯誤的處事方式，他的所作所為讓失望的霍小玉徹底絕望了。令霍小玉絕望的不僅是終將無法實踐的誓言，更多的是，她看透了李益。她對李益這個人徹底地絕望了，伴隨而來的，是對曾經海誓山盟的懷疑。
“生字以愆期負約，又知玉疾候沈綿，慚恥忍割，終不肯往。晨出暮歸，欲以回避。玉日夜涕泣，都忘寢食，期一相見，竟無因由。”
在霍小玉苦苦打探李益消息的時候，李益至少回過兩次長安。一次是到盧家下聘，另一次是成親，之後更是住在了長安。他想，既然已經誤了盟約之日，霍小玉又相思成病，他如何有臉麵再去相見？那就索性不見了吧。
於是，李益扮演起了古代特務的角色，早出晚歸，避免與打探消息的人碰麵。見到與霍小玉有關的人，要麼叮囑對方切不要與霍小玉說起，要麼咬死牙關，抵死不談或抵死不見。發展到最後，連他的族中表弟也看不下去了，在霍小玉麵前把真相和盤托出。個別好友更是勸他見上霍小玉一麵，可他偏是抵死不從。
得知真相的霍小玉捂著胸口，淚流滿麵。
借口，分明是借口！他已成親，她能將他怎樣，為何避她如避蛇蠍猛獸！說是有愧於她，可她都相思成疾了，居然還不肯見她，豈不是要繼續害她，豈不是虛偽至極？
原來她霍小玉看錯了人，錯了，真的錯了！當初並非李益騙了她，是她騙了自己，她把他想象成了她的良人，被他的才華，被突如其來的愛情蒙了眼。他根本不是她的良人，從來都不是，他懦弱、逃避，哪裏是她的良人？
早知如此，她根本不會愛上他，更不會委身於他，哪怕所求不過八九年的光景。出眾如她，驕傲如她，怎會落到如此境地？對那些從良嫁予商賈的姐妹，她不屑過，甚至嘲笑過，如今她卻還不如她們了，這叫她如何甘心？
霍小玉終於倒下了，臥病在床，日日被悔恨煎熬。一位黃衫俠客實在看不下去了，也顧不得什麼禮節風度，直接挾持了李益。各位看官不妨欣賞一下李益被帶到霍小玉麵前的全過程，這可比抓通緝犯還需要周密的部署呢。
◆黃衫客挾持李益
黃衫客先是混跡於李益遊玩的好友當中，這當然是得到這些人的默許的。興許不光如此，這些人也為整個“挾持”過程出謀劃策了。李益正在興頭上，黃衫客興致勃勃地介紹了自己的家宅和蓄養的歌舞姬以及十數匹駿馬，邀李益前去賞玩。
李益隱隱有了預感，假托有事不肯前去，於是黃衫客“挽挾其馬，牽引而行”。事情到了這個地步，李益若是還想全了讀書人的臉麵，就應該借著這個台階走下去，向霍小玉道歉，再來一場好聚好散的分別。可他偏偏不如此，他竟“鞭馬欲回”，被黃衫客的數名家仆團團圍住，捉下馬來！
如此可惡的行徑，連下人都看不過眼了。接下來發生的更為狼狽，“抱持而進。疾走推入車門，便令鎖卻”。就是說，家仆們連挾帶抱地把李益推進了馬車，因怕他逃走，還忙不迭地把門鎖上了。
此前一夜，纏綿病榻的霍小玉做了個夢，夢裏她見到了李益，當時她脫去了鞋子。這是個不好的預兆，脫去鞋子意味著永遠的了斷。無論愛與恨，他們是注定糾纏一輩子的，如何才是了斷，唯有死亡才是最徹底的了斷！
梳妝的時候，霍小玉對母親說：“我與他很快就會相見，之後，我將離開人世。”
李益被黃衫客挾持而來，霍小玉梳妝相迎。雖然早已猜到了緣由和結果，她還是抱有希望的，哪怕隻有那麼一點點。她無言地注視著李益，他沒有如她那般形銷骨立，眉宇間盡是逃避，絲毫不見一點眷戀與相思情意。即使無法抗拒世俗的阻擋，那感情上的留戀總還可以有吧？
而李益更讓她傷心的舉動是，居然臨近門口了還想著逃脫！霍小玉對李益失望了，當她從黃衫客那裏得知李益原來是那樣一番情形才到了她這裏，她的失望更徹底了。
霍小玉花容慘淡，焚毀婚約。此時的李益羞愧難當，不敢正眼看霍小玉。
霍小玉舉杯對李益道：
“我為女子，薄命如斯！君是丈夫負心若此！韶顏稚齒，飲恨而終。慈母在堂，不能供養。綺羅弦管，從此永休。征痛黃泉，皆君所致。李君李君，今當永訣！我死之後，必為厲鬼，使君妻妾，終日不安！”
霍小玉摔碎酒杯，痛哭數聲，倒地氣絕。
而那孱弱的聲音仍然在回響著，字字泣血。
這是他們的離別，真正的離別。她將化為一縷幽魂，她做鬼也不會放過他，要讓他和妻妾們終日不得安寧。
霍小玉看清了她薄命至此，是因所托非人，她悔恨不及，也痛心不已，為了對李益的愛，她毀了自己，也毀了母親。她是母親唯一的孩子，如今白發人送黑發人，其情何堪。
霍小玉的死訊傳出後，長安街頭有人傳出這樣的詩句：
一代名花付落茵，癡心枉自戀詩人。何如嫁與黃衫客，白馬芳郊共踏春。
◆情罰
李益終於展現出了有情人的一麵，他身著白衣為霍小玉守靈。李益很是悲傷，不單是傷情，也有被良心譴責的痛苦。不與盧氏成親是不可能的，他無法對抗他的家族。可早一點給霍小玉一個交代，不至於害了她的性命，卻是能做到的。能做而沒有做，終將讓他悔愧終生。