楊嗣忠回複之後，立即向楊府上下宣布了韓幼薇從此就是楊府的女主人，帶著一個仆人，些許幹糧和少量散碎銀子，懷揣著嶽飛贈送的《論兵瑣言》，兩袖清風的上路了。城門外，親朋故舊，曾經的屬下，還有許多不認識的文臣武將，竟有數百人來送行，楊嗣忠一句話也不說，沿路抱手作揖還禮。“桃李不言，下自成蹊”。楊嗣忠一直舍生忘死所為者，不為皇帝本人，為的是天下太平，百姓安居樂業，此心至死不渝！
到了小船行到京口改換大江船，京口守將劉光世早已經在碼頭等候多時了。他現在深得宋高宗信任，雖然沒有當上淮西節度使，但是坐鎮京口，把守國都杭州北門，誰都可以看出他在皇帝心目中的位置。雖是親戚，楊文英恨他靖康劫營帥眾先逃，一直鄙夷他的為人。
劉光世見他不理睬自己，主動說道：“楊大人官是越做越小，脾氣卻是越來越大呀！我知道楊大人瞧不上我劉某，但我對楊大人的敬佩之情卻如滔滔江水，綿綿不絕。劉某人很早就當上了統軍大將，可是勝少敗多，唯一讓劉某難以忘懷的勝仗就是在楊大人帶領下打的河陽之戰，真是暢快淋漓，劉某自那次起是真心實意願意在楊大人麾下效力。不想我上的表章卻是害了大人，引得皇上猜忌，這真不是我本意！”
楊嗣忠見他態度誠懇，麵帶愧色的說：“皇上責罰我，與將軍無關。隻是我在皇上麵前比將軍為詩經中的碩鼠，著實過分了，願將軍見諒！”
劉光世仰頭大笑，然後說道“碩鼠碩鼠，無食我黍！庸人占據了高位，大材卻無處施展抱負，說我是碩鼠卻是恰當。淮西邊陲重地，我還真鎮不住，也虧得楊將軍免了我的災禍，不然我就是張浚第二了！我與楊大人的不同之處就是我甘心認命，皇上讓我劫營我便劫營，楊大人讓我埋伏我就埋伏，皇上叫我堅守淮河我就堅守不退，皇上讓我交出兵權我就交出兵權。我做了一輩子的富貴閑人，當過大官小官，從來不與上級對著幹，這大概就是我這麼順的原因吧！但我與其他碩鼠不同，我也想天下太平，百姓安定，我也不想屍位素餐！”
楊嗣忠見劉光世嗚咽流淚，便上前輕輕拍了一下他的肩膀，然後默默上船離開。
坐船到了鄂州之後，嶽飛卻正率部和偽齊在襄陽蔡州一線進行拉鋸戰，脫不開身，卻遣人送來一首詞：
登黃鶴樓有感
遙望中原，蒼煙外，許多城郭。想當年，花遮柳護，鳳樓龍閣。萬壽山前珠翠繞，蓬壺殿裏聲歌作。到而今，鐵騎滿郊畿，風塵惡。
兵安在？膏鋒鍔。民安在？填溝壑。歎江山如故，千村寥落。何日請纓提銳旅，一鞭直渡清河洛！卻歸來，再續漢陽遊，騎黃鶴。
除了一首詞之外，還有一張紙，上麵寫著：
金人更進迭退，忍耐持久，令酷而下必死。每戰，非累日不決。勝不遽追，敗不至亂。兄勿以屢勝而輕之，完顏烏珠知兄大名，必不會掉以輕心，望兄慎思之。
許久未見，全都是國事，竟沒有一句話說到私人交情，楊嗣忠感佩不已，將詞又抄錄了一份給正在當江寧知府的祝允哲。