此時撫州、華亭相繼失守，元兵迫境，臨安戒嚴，那一班沒人心的朝臣見勢不好，便都棄官逃走。那一夜，一連逃去了同知樞密院事曾淵子、右司諫潘事卿、右正言季可、兩浙轉運副使許自、浙東安撫王霖龍、侍從陳堅、何夢桂、曾希顏等數十人，朝廷為之蕭條。還有那簽書樞密院事文及翁、同簽書院事倪普兩人，故意叫禦史上疏，自己以便去位逃走。那禦史含糊答應了，彈章還沒有上，他兩人等得來不及，便也不等他彈章，卻早逃出關外，不知去向了。此時朝中因為天下多事，帝顯年幼，皇太後便臨朝訓政，卻見了這般光景，不勝悲忿，便命侍臣寫了一張詔榜，貼在朝堂上，以警戒百官，
那詔榜上寫雲：
我朝三百餘年，待士大夫以禮。吾與嗣君遭家多難，爾大小臣未嚐有出一言以救國者，方且表裏合謀，接踵宵遁。平日讀聖賢書自謂，何乃於此時作此舉措？生何麵目對人，死亦何以見先帝？天命未改，國法尚在，其在朝文武官並轉二資，其叛官而遁者，禦史台其察覺以聞。
這張詔榜雖然貼出來，無如那一班沒人心的東西性命要緊，也顧不得什麼名譽了，宵遁的仍舊是紛紛相繼，不能禁止。過了幾日，那元兵到了獨鬆關，獨鬆關的守將張濡並不迎戰，卻棄官宵遁。元兵便長驅入關，所過郡縣，那守宰都是望風先遁，剩得空城，元兵如入無人之境，一直進到無錫屯住。
朝廷大震，群臣束手無策，文天祥便和張世傑商議道：“如今大江以南，無一堅城，惟有淮東尚堅壁未失，閩廣尚全城無缺，但彼皆僅足自救，無能勤王者。如今臨安危在旦夕，計城中尚有勤王之師三四萬人，我與君當出死力背城血戰，與敵決一勝負。萬一天幸得捷，則令淮東之師截敵歸路，則國勢猶可為也。”張世傑聽了，大喜道：“妙計，妙計，除此之外，別無善策。”
當下兩人商議定了，便聯名上疏請出兵。帝顯看了這疏，心中不悅，以為宗廟安危在此一舉，彼奈何徙恃血氣之勇，欲將社稷擲孤注，萬一失利，豈不一敗塗地？便降詔說是：“王師宜出萬全之策，不可輕舉妄動，以冀僥幸。”
遂不準所奏。文天祥、張世傑見了這詔，心中悶悶不樂，浩歎不已，可憐正是：
將軍有報國之誠，英雄無用武之地。
過了幾日，帝顯卻與陳宜中等商量定了一策，遣工部侍郎柳嶽赴元軍裏求和。柳嶽奉命去了幾日，回來說是巴延一定不允。看這光景和議一定是不能成了，帝顯無奈，複命柳嶽再赴元軍求封宋為小國，張世傑、文天祥泣諫不聽。那柳嶽行到高郵地方，卻為盜所殺，滿朝驚歎不已。正想再遣大臣赴元軍，忽丞相府報道：“左丞相劉夢炎不知去向。”帝顯聽了，又驚又恨。
相繼著參知政事陳文龍、簽書樞密院事黃鏞，都棄官宵遁。帝顯無奈，下詔命吳堅為左丞相，夏士林為簽書樞密院事，常楙為參知政事。詔下之日，那夏士林、常楙兩人不奉詔書倒罷了，當日奉了這道詔書，便連夜逃得無影無蹤去了。
次日，帝顯臨朝慈元殿，文班大臣隻剩得六人，大家看了，好不傷心，帝顯忍不住失聲痛哭道：“朕何負於諸大夫，諸大夫奈何皆舍朕而去？無事屍位食祿，有事棄官而逃，諸大夫自問於心，其能安乎？”群臣莫不嗚咽流涕。文天祥便奏道：“聖上既不欲率師輕出，以圖僥幸，如今時迫勢危，外麵又無勤王之師，卻死守著臨安這孤城，倘萬一臨安有不諱，奈宗廟社稷何？臣意欲請聖上速命吉王、信王出鎮閩、廣，那時就使宗廟有警，二王尚在閩、廣，猶可以再圖恢複。伏乞聖上俯如所請，則宗廟幸甚，天下幸甚！”帝顯聽了，涕泣不知所對。太後卻嗚咽道：“嗣君失德，使宗廟不安；二王年幼，更何忍使彼遽離左右，遠涉重洋。倘左右守獲有失，嗣君之罪益重，何以見先帝於地下？”文天祥泣道：“聖慮雖然周到，但為社稷計，莫如忍慈割愛，使二王出鎮，猶得延宗廟於一線，否則雖骨肉同死，社稷也無濟於事。聖人雲：“小不忍則亂大謀’。伏乞聖慮三思而行。”此時各宗親大臣都從旁極力勸太後遣二王出鎮，太後無奈，隻得道：“且從緩再議。”