趙象驚訝不解，連聲追問。門衛的妻子傳達步非煙的話說：“今夜武參軍在官府值班，可謂良辰吉時。我家後院，正對你家前牆。若不蒙嫌棄，請來相見。心思萬重，待見麵後再詳談。”趙象隻恨天黑太慢，登梯上牆，看到非煙已令人在牆下鋪好了軟墊。跳下牆來，見非煙靚妝盛服立於花下。拜見完畢，二人都高興得不能言語，攜手從後門走進堂內，掩門熄燈，極盡繾綣。
直到曉鍾初敲，非煙才送趙象回到牆下，握著他的手泣訴。
他們彼此剖析自己。
她說：
“我不是天性風流的女人，以身相許，是情之所至，請公子銘記。切莫以為我沒有玉潔鬆貞之誌，行為如此放蕩。隻為郎君才貌雙全，我才情不自禁。”
他說：“我不是輕妄之徒，決不會逢場作戲。今日相會，乃是前生姻緣。希望你能深刻理解我的心意。”
趙象軟語撫慰，也立下了永相歡好的誓言。
小生逾牆走，少婦倚窗看。次日，趙公子又托人贈給非煙一首詩：
十洞三清雖路阻，有心還得傍瑤台。瑞香風引思深夜，知是蕊宮仙馭來。
非煙覽詩微笑，也贈詩再表心聲：
相思隻怕不相識，相見還愁卻別君。願得化為鬆下鶴，一雙飛去入行雲。
感情的閘門一旦開啟，春心如泉就再也遏製不住了。自從有了那一夜巫山雲雨後，凡是武公業留值公府的夜晚，就是趙象與步非煙歡會之時。兩人情深意濃，心息相通，彼此一個眼神或一聲輕呼，都能喚起對方微妙默契的感應。那種好日子畢竟不常有，大多數的日子，他們都隻能隔牆相思。有時托守門人夫婦傳遞詩書，有時趙象在院中大聲吟誦詩書，步非煙坐在廊下輕撫琵琶，種種方式，都被用來傳達彼此濃濃的戀情。
二人歌詩寄情，定期約會，來往頻繁，不知不覺間度過了一年的快樂時光，趙象的手腳越來越敏捷伶俐。步非煙也問過趙象：“我們離開這裏好不好？”趙象有時候說好，有時候說不好。不過，即使嘴裏說好，心裏也沒能下定決心。他是家裏獨子，他要考功名。離開趙家，他無法養活自己和步非煙，而且，這樣不是挺好嗎？牆沒有加高，翻越的難度越來越低，武公業依然很忙碌，步非煙依然愛趙象，而他在父母麵前還是好兒子，還能時不時和朋友們出去風流或者散心。他對這種生活很滿意。
步非煙當然不滿意，可是，她從來都不夠有主見，男人不肯帶她離開，她就隻能等。她沒有勇氣逼趙象，也沒有勇氣收拾細軟先行逃出去。她原來以為有了愛情就有了快樂，但是，有了愛情後，不快樂的時候更多。武公業來吻她時，她會忍不住轉過臉，武公業在床上碰觸她時，她感覺他在糟蹋她的愛情……她常哭，她恨她自己，但是對這兩個男人，她一個都恨不起來。
◆生得相親，死亦何恨
大約一年後，非煙曾因小過失，鞭打過一個女奴，那女奴懷恨在心，就將他們的私情全告訴了武公業。武公業洞悉了這個奸情後，雖然生氣，但並沒有輕率聽信。他拷打守門人妻子，逼她道出始末。
然後強壓怒火，他告訴妻子要去外地，卻在夜半偷偷回轉來，伏於牆下，此時是二更時分。
步非煙衣不整發淩亂春光外泄，她以這個樣子和趙象在花園告別，怒氣衝衝的武公業不小心碰響了腰間的刀。步非煙忽然意識到不祥，她推了一下趙象，急促地說：“快走，有人。”
武公業衝過去想將趙象從牆頭扯下，卻隻扯落半塊衣襟。步非煙沒有想到來的人是丈夫，但是看到丈夫拿著半塊衣襟向自己走來時，心裏居然不慌張。她等這一刻等了兩年了。她被武公業一巴掌抽翻在地時，心裏輕鬆得很，她沒有看丈夫的臉，隻是將眼睛從他肩頭越過盯著牆頭。她不知道自己是不是在期待趙象出現在牆頭將她救走。她死死地盯著牆，武公業捏著她的下巴，像受傷的獅子一樣低吼：“你看我，你倒是看我。”她說：“痛。”但是目光還是不肯收回，直到武公業憤怒地用拳頭去擊打她的眼眶。