他落拓經年，始終不能忘懷，期間仍有跟她書信往來。經過了這些年，她的赤丹病竟好了。原來她那叔叔，替她找了一位先祖曾是宮廷禦醫的女大夫，以奇門方法施針用藥，終於阻住病情，後又通過一位西洋大夫，用華夏未見手段，徹底治愈。為了健體，她還學了劍術。張書進自是為她高興，但她再也不叫他乳名，當他是弟弟，而是直呼其名。張書進愈加苦澀。終於在加冠那年，隨便找了院子，破了童男。事後他後悔不已，愈覺配不上她，向她懺悔，但並沒說明狎妓一事。她的回信起初隻是安慰，後來便漸漸不耐。張書進知為她所厭，更是心灰，自己又的確汙穢，但又有些不甘，回信除卻自傷自悔外，也有一較長短之意，言她於兵學、武功未必及得過自己。張書進這些年武功大進，雖然隻是弱冠之年，但奇遇連連，得一邋遢道人傳授神功。他百無聊賴之際，也隻得借此轉移悲戚，勤修苦練，終於內外功俱臻化境。但他並不與江湖人士，有甚來往，常留之地無非是妓院、酒館、旅店。若是銀錢使盡，便挑三流山寨下手，劫他人之富，濟自己之貧，是以江湖聲名不顯。
他與她書信，偶論劍法，便知她所學劍法，果然隻有健體之用，更無內功。若是以前，張書進自然視她為天人，隻有自慚形穢，哪會去比較長短。此時不知怎地，就是不願沒有一處勝她。張書進沒想到的是，這番話卻終於把她隱忍的厭惡激發，回信說他有病。聽到愛慕已久的她，居然如此說自己，他終於死心了。回想前事，固是認為自己確有心病，可她何嚐不是。輕生、無病呻吟、時不時的極度悲傷、說話不似常人用語，像孩童昵聲。那時他是覺得可愛，現在想想，她的確性子無常，也不似尋常女兒，果然大家都有心疾，隻是各自不同罷了。此時他終於是放下了這段莫名其妙的單相思，隻是她的名字卻再也忘不掉了。是夜，他又大醉一場，又哭又笑，醉倒在路邊。
他醒來後，愈加浪蕩，不止去嫖宿院子，更無恥地勾引深閨怨婦。別看他貌不驚人，又身形臃腫，但是頗有才情，一首首詩詞遞上，總有些貪慕虛名的婦人為之吸引，他又油嘴滑舌，更兼從邋遢道人那學了道家上乘房中術，會熬戰之法，終於還是玩弄了不少閨中婦人。甚至某地女苑課的女先生，都被他誘得通奸。事後那位婦人大悔，甚愧於相公兒子，毅然與他斷了來往。他又不去糾纏，隻是後來有次他與婦人書信時，婦人似是為丈夫知覺，不敢再回，之後那女人丈夫卻來信質問他，是否真心歡喜自己妻子。他不敢回答，自覺理虧，便沒再與她勾搭。此後也再沒做這事，若是來性，便隻去院子，隻是內心淒苦，對兩情相悅的渴望，實無法排解。
半年後，他遊至遼東某城，在酒樓裏遇見一位遊方歌女。那歌女一襲白裙，長發飄飄，並沒挽墮馬髻，音色輕柔，隻可惜容貌隻是中人之姿。不過，曲子唱的好聽，張書進還是來了興致。聽她唱了一曲《阮郎歸》後，他讚道：“‘秋千慵困解羅衣，畫堂雙燕歸。’唱的真妙。”當即吟道：“冷月清輝付北辰，桃花慣看開別院。從來不信傷春情，管他月鉤與月圓。”唱罷，取了一千錢與那歌女。那歌女謝過。張書進道：“今日幸聞姑娘天籟，小可意猶未足。不知可否請姑娘賞臉，與小可同去遊湖，再談詞曲。”那歌女臉色微紅，她雖貌非玉人，但詞曲精熟，聲音宛轉，在四處討生活的日子裏，還是有不少輕薄之徒來調戲。所幸隨行大哥多番維護，才沒為人所辱。此時見張書進方才相會，便欲邀約，不禁有些躊躇。遲疑了一會，看得張書進誠摯的眼神，終是答應了。她收拾琵琶，負在背上，將銀錢分了些酒樓掌櫃，也給了些那隨行大哥，便隨張書進出酒樓。
張書進帶著那歌女去了臥龍湖泛舟。水麵波光粼粼，湖水為煙霧鎖住，輕舟蕩蕩，心起漣漪。二人各自問了姓名，便攀談起來。隻是歌女頗為羞澀，看來是個雛兒。這不談還好，一談之下，張書進愈發欣喜。原來這歌女也通詩詞歌賦，也與他一般愛好古文風尚，追求文章質樸自由，隻是造詣不如他深，更別說比得水鈴兒了。張書進心裏不由得起了一絲波瀾，兩人談了許久，她又為張書進唱了兩首他自己填的詞，直到冰輪升起，二人才分別。此後，張書進與這歌女連連出遊幾日，他雖對這歌女已有些許愛慕之意，但這歌女畢竟容色稍遜，談了幾日，因就近勾欄，又故態複萌地去嫖院子。有幾次均為她撞見，她並沒責怪張書進，再與他出遊時，也和先前一般。不知過了多久，有日，張書進竟對她表白心跡，那歌女竟然默許。雖是如此，張書進卻還沒娶她，更沒碰她身子。歌女也並沒索求什麼，如往前一般，隻是改了稱呼，叫他張郎。每次出遊隻常要張書進帶她去武昌，嚐嚐那裏特產。張書進每次隻是笑著答應，卻沒帶她走。
某天，張書進突然與她作別，隻說有要事遠赴他處，送了她一隻信鴿，叫她帶著親眷趕緊去南方避難，切不可從河北走，須渡渤海，去天津、濟南，乃下江南都可。歌女不知何故，見到他說的鄭重，便應承下，帶著隨行大哥走了，並告訴他會一直等來迎娶自己。張書進目送她離開，這才放心，馳馬往北直隸趕去。原來，此時正逢瓦剌太師也先，借明庭不肯和親、貿易，兵寇大同、宣府、遼東、甘州。英宗竟受太監王振蠱惑，竟禦駕親征，英宗非知兵之人，竟然統軍，豈不是亂軍引勝。果然，英宗被也先引至大同，擊潰前鋒，後又至土木堡決戰，暫時勝負未分，遼東兵鋒稍緩，戰火尚未燒至這小城。這裏消息閉塞，沒有駐軍，合城隻有五百快手，擔當警衛。城中百姓竟似與世隔絕一般。這軍情還是張書進月前，去沈陽中衛耍子才得知。便馳爪黃飛電，奔回小城，叫歌女去南方避難。
後來，英宗還是在土木堡大敗被俘。中原漢人又經曆了一次“靖康之恥。”張書進卻在謀一件大事，幾乎沒聯係那歌女。不知過了多久，他忽覺自己對那歌女並無愛意，隻是一時寂寞，想體味尋常男女****，找個寄托而已。大愧之下，在草原傳飛鴿與歌女，讓她死心，早日尋人嫁了，當初自己隻是一時興起，欺騙了她，對她不起，請她原諒，希望以後江湖再見，還是朋友。那歌女再沒回信。又過了一兩年，張書進在瓦剌草原，甚是寂寞，有時也傳書歌女問好，可始終不見回應。他悵然若失。
不知過了多久，那件大事辦成，張書進便離了瓦剌，回大明江南散心，又四處嫖院子。他已經漸漸地忘記了日子，忘記了很多人，忘記了幼時同窗，忘記了曾經的好友，連跟他歡好過的婦人名字，也不記得了。沒忘的，隻有水鈴兒這個名字。雖忘不掉這個名字，有時想起也會哭泣，但其實已無愛無恨，隻是為當初莫名的情愫而哭。他這就這麼浪跡天涯，頭上已過早地生出許多白發，不知不覺他又到了遼東，到了沈陽中衛。一如往常，又去找勾欄。他沒想到的是居然在街上，看見了那歌女，隻是那歌女身邊的隨行大哥，已成了她丈夫。更讓他難過的是，那歌女竟然比從前漂亮百倍，略施粉黛後也是個麗人，也愈加端莊。張書進此時隻覺心中苦澀，但還是忍不住上前打招呼，想問她近況如何。那歌女竟把他當路人，不發一言，拉著情郎走了。
張書進心中大痛，這才知道，一生中可能唯一一次的幸福機會，也被他丟掉了。可是他也心有不甘，他當初固然是欺騙了歌女，傷害了歌女，可是不也是不教她所托非人麼？如何多年後再會，連朋友都做不成？可是真的愛她，不該為她終身有托而高興？他還是看不破，參不透，一會哭，一會笑，進了院子，借喝花酒發泄。於是他遇到了方雲華和陸少臨。
方雲華聽完他的事，十分不哂：“嗬！真是做作。既然不愛人家，又何必撩撥人家？見人家嫁人後變得漂亮了，反又後悔。真不是漢子。你若是淫賊，便做個淫賊的樣子，想要人家，你不會去搶麼，那人哪打得過你。你若是情種，便該潔身自好，何須做出那等下流事，淫人妻女？又做淫賊，又自命癡情，卻來傷情，真個好笑！”陸少臨蹙眉:“方大哥，你前麵話是不錯，可後麵說的可太不成樣子了。咱們進院子，嫖姑娘，那都得講你情我願，更何況是良家女，怎能用強？”方雲華自覺失言，訕訕一笑：“是！是！陸兄說的是，是在下喝多了。”張書進被方雲華這番話說的默默不語，但聽到說對歌女用強，不禁怒氣頓生。陸少臨卻道：“方兄之前說前輩的話，還是有些道理。前輩你真的歡喜那歌女？過了這麼多年，你可還記得那歌女姓甚名誰？”
張書進聽了，遲疑了一會，後又慚愧道：“我的確忘了她叫什麼名字……”