到達揚州西門，已是三更時分，城門緊緊閉著，全無燈火，連狗叫聲都聽不到。
他們一行十二人，好不容易走到城門外，又是饑餓，又是疲困，那種狼狽相，實在不堪言狀。他們左找右找，連一個歇腳的地方也沒有。原來李庭芝正在實行堅壁清野的政策與阿術抵抗，城郊附近的房屋，早就拆盡燒光了。
天色深沉，總得先找個地方休息。他們又回頭走了半裏多路，才找到一座坍塌的破廟。大家走進去，破廟裏都是亂草，連屋頂也不見了，隻剩下半截牆壁，香案台上都是露水。
大家也顧不了這些，十二個人東倒西歪地癱在地上。好不容易熬到四更天，天色微明，有一群運貨的鄉下人，哼哼唷唷地走過廟門口，他們便跟著這些人一起到西門等候開門。
大家又緊張起來，進了城，是生是死還不知道。杜滸說：“既然李庭芝當初非令苗再成殺我們不可，現在又怎麼會相信我們呢？我們不如先找個地方躲起來，到晚上投奔高郵，然後再從通州渡海南下，尋找二王，再圖複興之義舉。”
金應卻說：“離城不遠就有元軍的哨兵，從這兒到通州五六百裏，怎麼能走到呢？與其路上受苦而死，還不如死在揚州城下，這好歹是咱們自己的土地啊！而且，李庭芝也不一定會殺我們。”
其他人，有的同意杜滸的意見，有的同意金應的說法。平時處事很果斷的文天祥，此時也沒了主意。而且這裏又離元軍占領的揚子橋很近，不是久留之地，怎麼辦呢？文天祥犯起難來。
就在這個時候，餘元慶卻引來了一個賣柴的鄉下人，他說：“相公，這個人知道一條去高郵的近路。”
“白天趕路不方便，現在你能找個地方讓我們避一避嗎？”杜滸問那個樵夫。
“先到我家住一天吧！”那個鄉下人說。
“路上有沒有元兵來巡邏？”
“幾天才會來一次，今天能不能碰上，就看你們的運氣了。”
“我看不保險……”金應插嘴說。
“進城也不一定安全！”杜滸反駁道。
他們兩個人又開始爭辯，此時，天快亮了，城門外停著好些鄉下擔子，等著進城。
這時，總轄呂武忽然從後麵跑過來，神色慌張地說：“不好了，餘元慶、李茂、吳亮、蕭發四個人逃走了，把銀子也帶走了。我一發現就去追他們，連影子也沒有。”
原來餘元慶趁他們跟樵夫說話的時候，偷偷轉回破廟拿了銀子走了。他不願意再過擔驚受怕、吃盡苦頭還得不到別人諒解的生活。文天祥雖然是堂堂丞相，但是手下沒有一兵一卒，想要光複也不是容易的事，與李庭芝的誤會更讓他複國無望了。他的家就在真州，何不回到家中，安分守己做一個平民老百姓呢？於是他便說服李茂、吳亮、蕭發，四人分了銀子，偷偷地走了。文天祥雖然非常痛心，但他的決心並沒有因此而動搖，一行八人跟著賣柴人繼續往前走。
腹中無食，身上無力，饑寒交迫，文天祥從來也沒有經受過這樣的煎熬。他步履艱難，走上幾十步，就喘得上氣不接下氣，倒在荒草之中，隨從將他扶起來再走，一會兒又跌倒了。就這樣反複十多次，勉強到了桂公塘，此時天色已經亮了。樵夫的家大概有三十裏遠，他們已經走了快一半了。
打柴者說：“照以往的經驗，元兵都是在上午出來巡查，過了中午以後，便都回去了。所以現在不能再走了，恐怕山頭有元軍巡查，所以我們要趕快躲到山裏去。”
在路旁不遠的小山坡上，有一個土圍牆。這裏看起來原先是老百姓的住房，毀於戰火，木料和磚瓦都沒了，隻有四麵斷牆。走近再看，裏麵到處是馬糞，髒極了，但是這裏倒是個藏身的地方。
他們把糞土瓦礫掃除了一下，便把帶著的衣服鋪在地下，或坐或躺，安頓下來。
他們個個饑餓難忍，好不容易撐到中午。到了中午，大家很高興，按元營的習慣，上午出哨，過午即歸，因此大夥都說：“今天又得命了！”
大夥剛剛鬆了口氣，忽然，遠處人馬嘈雜。從牆縫往外一看，隻見有數千名元軍騎兵，從東向西浩浩蕩蕩地開過來了。
“沒有死在揚州城下，竟然要死在這裏了！”金應閉上眼睛，自言自語地說。
大家蹲臥在土牆下，心裏緊張極了。就在這時，忽然刮起了大風，烏雲翻滾，豆大的雨點落了下來。元兵為了趕到有人家的地方避雨，隻顧急忙趕路，大隊人馬從土圍邊開過去了。隻聽見馬蹄聲、刀劍碰撞聲、吆喝聲，以及錯雜的腳步聲，和風聲雨聲交織在一起，元兵正沿著土牆外邊經過。
過了好長的一段時間，人馬聲才慢慢遠去，土牆又恢複原來的寧靜。大家就像大赦不死的罪犯一般，相互祝賀。
後來他們才知道，這是押送宋朝祈請使去大都的隊伍，其中還有元國掠奪的財物以及其他人員。因為在鎮江讓文丞相跑了，所以他們動用了上千人的軍隊來警戒。