文天祥退入汀州的時候，元軍正在追逼小朝廷。陳宜中、張世傑擁著端宗皇帝避往淺灣，唆都得知以後，立刻率領水師突襲淺灣。張世傑措手不及，又帶著小皇帝退往秀山，剛到秀山，又覺得離元兵太近了，不好防守，所以又遷往井澳。
就在乘船駛向井澳的途中，忽然遇到了大風浪，海濤洶湧不息，張世傑帶領的一隊船隻，被吹得東零西散。
第二天早上，海麵已經恢複平靜。可是年幼的小皇帝經過這兩年的驚恐、奔逃以及昨夜可怕的風浪，已經被嚇出了病，他不停地哭鬧，不肯坐船，吵著要回岸上。
當張世傑把吹散的船隻找來時，陳宜中覺得大勢已去，沒什麼希望了，但又不好直接跟張世傑開口，於是把皇帝搬出來做借口說：“我看皇帝這個病，是不能再待在海上了。此處離占城不遠，我先到那邊安排一下，如果你們這邊有辦法，那我就在那裏籌餉接濟你們，萬一這邊無法立足，我那邊就算是個退路。”張世傑也攔不住他，陳宜中便駕著海船，離開了流亡中的小朝廷。文天祥為了尋找皇帝的落腳處，便把惠州城交給他的大弟文璧堅守，自己則帶著軍隊進入海豐縣，一麵在惠州、潮州之間展開活動，一麵派人往嶺東沿海尋訪朝廷的下落。後來知道皇帝已經搬到富陽。
十二月十五日，一艘元軍的海船在海上遇到風浪，漂到潮州，被文天祥部隊俘獲。審訊俘獲的元兵時，文天祥才知道，元世祖忽必烈視南宋的海上行朝為心頭之患，認為隻有先將其除之，才能平定各地的起義。所以這次，忽必烈派張弘範為“蒙古漢軍都元帥”，不惜重兵進攻南宋行朝。
到了揚州以後，張弘範請李恒做副元帥，率領水陸軍兩萬多人，負責江西一路軍事，並命自己的弟弟張弘正為先鋒，由浙東直趨福建。當張弘範由台州驅兵南下時，先鋒部隊張弘正已逼近嶺東了。
駐在富陽的小皇帝隻好又遷到硇洲，他的病是越來越嚴重了，到了硇洲沒多久他便死了。
這麼一來，皇室的根基就隻剩下更年幼的衛王趙昺。文武官員都非常灰心，甚至有人步陳宜中的後塵溜掉了。
在這種情況之下，陸秀夫和張世傑挺身而出，擁護衛王即位，改“祥興”為他的年號。小皇帝登位以後，陸秀夫升為左丞相兼樞密使，加張世傑為少傅，文天祥為右丞相。
朝廷一切還沒有安排妥當，那邊忽報雷州失守，張世傑覺得硇洲也受到威脅，於是他又開始尋找另一個避難的地方。找來找去，終於在廣東新會縣八十多裏的海上，選擇了海中小島崖山。這個地方與奇石山相對立，就像是兩扇大門，可說是天然的險要之地，可以防守。
於是，這年六月，宋帝趙昺的小朝廷遷到崖山。張世傑派人入山伐木，造行宮及軍屋千餘間，當時尚有官、民、兵二十餘萬，多居住在船中，資糧則從廣東沿海州郡征集。
崖山朝廷站穩腳跟以後，派人往占城請陳宜中回朝，陳宜中卻一口回絕了使者。於是崖山大大小小的事，變成張世傑治外，陸秀夫治內。
朝廷對外發出號召，請各地響應崖山政府而起兵。