據傳說，王軒曾遊西小江，泊舟於苧蘿川，感國色瘞塵，愴然題詩於浣沙石上：
嶺上千峰秀，江邊細草春。
今適浣紗石，不見浣紗人。
題罷不久，忽見一豔容女子，
振動環佩，扶著石筍，婀娜而前，道：
妾自吳宮還越國，素衣千載無人識。
當時心比金石堅，今日與君堅不得。
說完，便與王軒燕好一番，臨別還有詩詞贈與，一片癡情。
後來，這事傳到蕭山郭凝素的耳裏，他非常豔羨，但沒法到浣紗溪口一行，於是題詩於屋後石上，更夜宿其旁以伺靈會。但不知怎麼搞的，等了好半天，美人不來，反來了群鬼，魑魅魍魎，環而嬲筆，拋瓦戲弄。郭大驚，立刻爬起遁去。後聞者莫不笑痛了肚子。
他的朋友朱澤，作詩以嘲道：三春桃李本無言，若被傷殘鳥雀喧。借問東鄰效西子，何如凝素學王軒？