文天祥出使元營被扣留，元人押解北上，行至鎮江，文天祥與隨從人員設法逃出，曆盡艱險，也來到福州，與張世傑、陸秀夫等人共同擁立年僅九歲的趙罡即位，是為宋端宗。然後傳檄遠近，號召恢複，在江南西路、福建路和廣南東路一帶繼續堅持抗元鬥爭。
至元十三年（1276年）十月，忽必烈命塔出、呂師夔等以江西行都元帥府兵自江西進入廣東，阿刺罕、董文炳、唆都以行省兵出浙東進入福建，分道追擊張世傑等。十一月，張世傑等人奉帝是逃走泉州，結果，提舉泉州市舶司官員蒲壽庚也投降了元朝，張世傑、陸秀夫隻好護衛帝昱逃往潮州。這時，西北諸王海都等人的叛亂不但沒有解決，相反，忽必烈派遣平叛的宗王蒙哥之子昔裏吉等人又發動了叛亂，劫持皇子那木罕和丞相安童，分送至術赤後王忙哥帖木兒和海都處，並回師攻掠和林。形勢頓時緊張起來。忽必烈統觀全局，明確認識到當時的主要危險來自北方，遂將平南大軍陸續抽調北上，江南新附之地，守備頓時空虛。文天祥抓住這一有利時機，積極進行恢複活動。文天祥從鎮江逃脫，來到福州以後，“使呂武招豪傑於江淮，杜滸募兵於溫州”，很快又組織了一支抗元武裝，轉戰於贛南、閩西、粵東一帶，乘元朝大軍北調之機，聯絡各路豪傑，相繼收複梅州、廣州、湖州、邵武、興化等地，曾取得“雩都大捷”，攻克興國，贛州所屬各縣全部恢複，元軍隻守住了贛州一城。吉州所屬八縣地也恢複了四縣。各地聞訊，紛紛起兵響應，贛南、粵東的形勢出現了轉機。從伯顏攻宋以來，元軍到處如入無人之境，少數地方和少數軍隊雖曾進行過抵抗，給元軍以嚴重打擊。但範圍多限於一城一地，性質也僅限於消極防守，從來沒有進行過積極的反攻。文天祥這次大規模的軍事恢複活動，在抗元鬥爭史上是少見的，不但鼓舞了各地抗元鬥爭的士氣，也震動了元朝統治者。
消息傳到上都，忽必烈十分震驚。他本以為宋都失陷，其餘各地可隨手而拾，哪知又殺出來個文天祥，一時把元軍打得落花流水。對於文天祥的膽識和勇氣：忽必烈既佩服又憤怒。佩服的是，在首都陷落、皇帝被擄、大小官員紛紛投降的形勢下，文天祥還能組織一支不小的軍隊，“驅群羊而搏猛虎”，堅持抗元鬥爭，這在腐朽的宋王朝當中，簡直是個奇跡。憤怒的是，忽必烈這時正忙於平定西北諸王的叛亂，弄得焦頭爛額，偏偏在這個時候，文天祥把他的江南部署打亂了。
然而，忽必烈畢竟是一位傑出的政治家和軍事家，他在形勢極度複雜的情況下，仍然鎮定自若，統觀全局，進行新的部署。他仍然將主力放在北方，令伯顏、阿術等率軍北征海都、昔裏吉等人的叛亂，同時，加強了南方的軍事部署，特設江西行省，以塔出、麥術丁、徹裏帖木兒、張榮實、李恒、也的迷失、失裏門、程鵬飛、蒲壽庚等人行江西行中書省事，分水陸兩路進攻閩廣。後來，又命張弘範、李恒為蒙古漢軍都元帥，水陸並進，掃蕩殘宋勢力。又命塔出、呂師夔、賈居貞行中書省事於贛州，兼轄江西、福建、廣州諸道，既要保證當地的穩定，又要保證前線的後勤供應。
忽必烈部署已定，各支大軍遵命而行。
這時，小皇帝趙星在元軍的追擊下，東躲西藏，受盡了驚嚇，一時得病死了。張世傑、陸秀夫等人又立八歲的趙咼為帝，然後逃到崖山（今廣東新會海中），堅持抗元。
在元軍的進擊下，文天祥連連失敗，就連自己的妻子歐陽夫人、女兒柳小娘等也落入元軍手中。至元十五年（1278年）十二月，文天祥撤出潮陽，轉移海豐，準備進入南嶺山中，結營固守。行至海豐以北的五坡嶺時，文天祥估計元軍一時追不上來，便停下來埋鍋做飯。哪知陳懿投降了元軍，為其擔任向導，帶領輕裝騎兵，兼程追襲，很快就追到了五坡嶺。
這時，文天祥和幕僚們正在嶺上吃飯，毫無準備，倉促應戰，很快就敗下陣來，文天祥等人全都成了元軍的俘虜。
當文天祥被押至張弘範麵前時，張弘範勸他投降。文天祥嚴辭拒絕。張弘範沒有辦法，隻好把文天祥押在軍中，與李恒合兵進攻南宋的最後據點崖山。當文天祥隨軍經過珠江口外的伶仃洋（今廣東中山南）時，想起當年在贛水皇恐灘應詔起兵勤王的情景，感慨萬千，麵對伶仃洋，抱定必死的決心，寫下了悲壯的千古絕唱《過伶仃洋》詩：
辛苦遭逢起一經，幹戈寥落四周星。
山河破碎風拋絮，身世飄搖雨打萍。
皇恐灘頭說皇恐，伶仃洋裏歎伶仃。
人生自古誰無死，留取丹心照汗青。
至元十六年（1279年）二月，張弘範率軍到達崖山，要求文天祥寫信勸張世傑投降，文天祥說：“吾不能扡父母，乃教人叛父母，可乎？”堅決不答應。後來，張弘範強迫文天祥寫信勸降，文天祥大義凜然，寫出他的《過伶仃洋》詩作為回答。
張弘範看著沒有辦法，隻好下令軍中，向崖山猛攻。
張世傑把一千條大船結成一字陣，陣中的船與外麵的船用繩索聯結起來，四周加築樓柵戰柵，看上去像城牆一般。
張弘範見宋軍把大船聯在一起，便用輕舟滿載茅草，澆上油，乘著風勢，點上火，向宋軍的船隊漂去，希望收到赤壁火燒戰船的功效。哪知張世傑早有準備，在戰船上塗了厚厚的一層泥，使火不容易燒著。船上又備有長杆，一見火船逼近，便伸出長杆，頂住來船。張弘範的火船到了宋軍船隊麵前，近不得前，隻好停在那裏，白白地燒掉了。
張弘範見火攻失敗，遂調來大炮，利用炮石、火箭作掩護，南北夾擊，突破宋朝水軍陣角，跳上宋船。與宋軍短兵相接。宋軍雖然頑強抵抗，怎奈寡不敵眾，哪裏招架得住，眼看全軍就要覆滅，陸秀夫抱起年僅九歲的小皇帝趙咼投海而死。張世傑力戰突圍而出，後遇風濤覆舟而死。南宋徹底滅亡。
張弘範攻破崖山，非常高興，於軍中置酒大會，大肆慶祝。席間，張弘範對文天祥說：“國亡，丞相忠孝盡矣，能改心以事宋者事皇上，將不失為宰相也。”文天祥絲毫不為所動，回答道：“國亡不能救，為人臣者死有餘罪，況敢逃其死而二其心乎”，請求以死報國。張弘範又說，先生意欲留取丹心照汗青，今“國亡矣，即死，誰複書之。”文天祥回答說：“商亡，而夷齊不食周粟，亦自盡其心耳，豈論書與不書。”張弘範見文天祥死不投降，沒有辦法，隻好遣使請示忽必烈如何處理。
元軍攻占臨安，宋人紛紛投降，忽必烈曾經召見宋朝降將，問道：“汝等降何容易？”那些降將回答道：“賈似道專國，每優禮文士而輕武臣。臣等久積不平，故望風送款。”忽必烈聽了這話，覺得這些降將沒有骨氣，心裏一陣惡心，輕蔑地說：“似道實輕爾曹，特似道一人之過，汝主何負焉。正如爾言，則似道輕爾也固宜。”忽必烈本想在南人中選拔一些才能之士，幫助他治理國家，結果在他所見到的降人當中，盡是些無恥之徒，他以為南宋不會有像樣的人才了，大失所望。
就在忽必烈為南宋人才匱乏而愁歎、婉惜之際，張弘範所遣使者來到大都，向他報告了文天祥誓死不投降的情況，忽必烈聽說南宋還有這樣的人才，驚訝不已，“既壯其節，又惜其才”，令張弘範將文天祥護送京師，不準隨意殺死。忽必烈決心勸降文天祥，以為其用。
至元十六年（1279年）十月，文天祥被押到大都，忽必烈吩咐大臣，想方設法勸降。於是，勸降使者一個個接踵而至。降元的留夢炎、王積翁先後來勸，文天祥痛罵叛徒，嚴辭拒絕。忽必烈又派宋恭帝趙顯勸降，文天祥見宋朝皇帝親來，立即跪到地上，痛哭流涕，連連說：“聖駕請回”，別的什麼也不講。伯顏手下的大將唆都也來勸降說：“丞相在大宋為狀元宰相，今為大元宰相無疑。丞相常說國存與存，國亡與亡，這是男子心。天子一統，做大元宰相，是甚次第。國亡與亡四個字休道”，仍然想用高官厚祿來勸誘文天祥投降，文天祥絲毫不為所動。
多次勸降不成，丞相孛羅親自出馬，文天祥說：“自古有興有廢，帝王將相滅亡誅戮，何代無之，盡忠於宋，所以至此。今日不過死耳，有何言。”孛羅問：“自古常有宰相以宗廟城郭與人，又遁逃去者否？”文天祥回答說：“為宰相而奉國以與人者。賣國之臣也。賣國者必不去，去者必非賣國之臣。”孛羅又問：“汝立二王，競成何事？”文天祥回答說：“立君以存宗社，臣子之責，若夫成功，則天也。”孛羅又說：“既知其不可，何必為？”文天祥說：“父母有疾，雖不可為，無不用醫藥之理，不用醫藥者，非人子也。天祥今日至此，惟有死，不在多言。”孛羅氣得發瘋，隻好稟告忽必烈。忽必烈更加重視其氣節，下令將文天祥關押起來，想用時間消磨他的意誌。