正是在這樣的特殊背景下，侯方域參加了河南鄉試，表麵雖是屈服，事實上他還是以不把卷子做完的方法表示了抗爭。據說當時清廷原準備隻要侯方域參加考試，就給他第一，結果竟然沒有做完，這確實讓當事者為難。放榜前，一些考官還是把他置於第一，由於一些人提出異議，才把他降為副車（副車，即副榜，是正式錄取外的附加榜）。
但仍有很多人並不諒解侯方域的這份矛盾與糾結，如梁啟超就曾大加指責：“侯朝宗並無出家事，順治八年，且應辛卯鄉試，中副貢生，越三年而死，晚節無聊甚矣。”還是寬厚的陳寅恪先生善解人意，為其辯解道：
“朝宗作《壯悔堂記》時，其年三十五歲，即順治九年壬辰。前一年朝宗欲保全其父，勉應鄉試，僅中副榜，實出於不得已。‘壯悔堂’之命名，蓋取義於此。後來竟有人賦‘兩朝應舉侯公子，地下何顏見李香’之句譏之。殊不知建州入關，未中鄉試、年方少壯之士子，苟不應科舉，又不逃於方外，則為抗拒新政之表示，必難免於罪戾也。”
應鄉試之舉雖出於無奈，但還是成了侯方域難以磨滅的隱痛，他的詩文裏明顯流露著深深的自責和悔恨，卻沒有任何辯解。順治九年，侯方域建壯悔堂，將自己的文字結集為《壯悔堂文集》。他的《倪雲林十萬圖記》一文，是為陳貞慧所藏名畫而作。倪雲林是由元入明的畫家，在明朝建立六年後所作畫上，仍“款署至正（元朝年號）癸醜”，侯方域稱讚陳貞慧“自乙酉金陵變後，絕跡不入城市，更命其二子棄去諸生，其亦雲林不忘至正之意耶？”
同年九月，或許為了排遣心中鬱悶，侯方域又一次遊曆江南，拜訪多年未見的生死之交。
故地重遊，卻是物是人非，昔日翩翩四公子，而今分散各處，境遇各不相同。陳貞慧“埋身土室，不入城市者十餘年。遺民故老時時向陽羨山中一問生死，流連痛飲，驚離吊往，聞者悲之”；冒辟疆“隱居不出”，當時“督撫以監軍薦，禦史以人才薦，皆以親老辭”；方以智因“推戴”桂王曾短暫為相，罷相後出家為僧。“行至平樂，被縶。其帥欲降之，左置官服，右白刃，惟所擇，以智趨右，帥更加禮敬，始聽為僧。”而陳子龍、吳應箕、夏允彝等則在抗清中殉國。吳應箕尤為壯烈，“次尾（吳應箕字次尾）戰敗，危坐正冠，徐起拜故君，辭先人，引頸就刃，意氣彌振。 ”後來，侯方域在《祭吳次尾文》中沉痛之情油然流露：“嗚呼！次尾讀萬卷書，識一字‘是’，明三百年，獨養此士。”
南遊歸來，侯方域在家舉行祭禮，麵南灑酒，祭奠亡友。一年多後，年僅 37歲的侯方域病故。
不過關於李香君的下落，現在卻有另一種說法：據說南京城破後，李香君逃出皇宮，流落棲霞山一帶。清順治二年（1645年）秋，侯方域找到李香君，二人攜手回到河南商丘老家。李香君隱瞞歌伎身份，以侍妾身份住進西園翡翠樓。從 1645年至 1652年這八年時間裏，李香君與公婆和睦相處，與元配常氏姐妹相稱，與侯方域相敬如賓，生活幸福而美滿。
然而，李香君時時避諱的秦淮歌伎身份還是在某一天暴露了，公公侯恂怒不可遏，李香君被趕出了翡翠樓，住到城郊的侯氏柴草園打雞園，一個離城十五裏前不著村，後不著店的荒涼之地。任憑侯方域苦苦哀求，辯解香君賣藝不賣身，侯恂依然不為所動。彼時李香君已懷有身孕，婆婆和常氏一再求情，公公才勉強答應派一個小丫頭去服侍她。1653年春，李香君在打雞園生下一個兒子，但因其身份低賤，所生之子不準姓侯，隻能姓李。僅僅數月，李香君便在抑鬱絕望中含恨而逝，享年三十歲。痛不欲生的侯方域為李香君立碑撰聯：“卿含恨而死，夫慚愧終生”。李香君去世僅一年，也就是順治十一年（1654年）12月 13日，侯方域也在惆悵懊悔中走完了人生之路，年僅三十七歲。
據說李香君遺留的那一支侯氏血脈後來轉遷到雪苑村（侯方域號雪苑）繁衍生息，但一直“隻準口傳，不準入家譜”，至今全村李姓已有三百多人。