文天祥在江西失敗的同時，南宋流亡政府從惠州甲於門轉移到淺灣(今廣東饒平南澳島)，元軍水兵進攻淺灣，張世傑率部和元軍進行一場惡戰，沒能挫敗元軍的攻勢。陳宜中、陸秀夫、張世傑護衛端宗先後逃到秀山(珠江虎門內的虎頭山)，井澳和鋼洲(廣州灣口外海中)。左丞相陳宜中對大局絕望，自己逃往占城(現越南境內)．端宗在鋼洲病逝，張世傑、陸秀夫立八歲的衛王趙昺繼位，陸秀夫代陳宜中為左丞相，張世傑為樞密副使，文天祥仍為樞密使。陸、張在日暮途窮的情況下，對宋朝仍忠心耿耿。他們覺得鋼洲也不安全，把行朝移到新會縣南八十裏大海中的崖山，這是南宋朝廷最後落腳的地方。
文天祥率領督府軍餘部，到南嶺過冬後，到處尋訪行朝的消息，終於知道行朝在崖山。朝廷加封文天祥為太保、信國公。他先是在海豐活動，不久移督府於潮陽．正當文天祥籌劃以潮、惠為依托收複附近失地的時候，元軍水陸兩路進攻潮州。為了避其鋒銳，文天祥帶督府軍退入山中。元軍統帥張弘範的弟弟張弘正率二百輕騎緊緊追趕，到五坡嶺時，文天祥不幸被俘。他服冰片自殺，但沒有成功。督府軍的將領不是被俘，就是犧牲，督府軍從此瓦解了。
浩然正氣
張弘正把文天祥押解到張弘範的大營中，元軍將官威脅文天祥，要他向張弘範下跪．文天祥厲聲回答：“能死不能跪！”張弘範在皋亭山伯顏大營中見到文天祥寧死不屈的英雄氣概，知道要強迫他下跪是辦不到的。有人提出把他殺掉，張弘範沒有權力殺死這個宋朝的丞相、樞密使，隻好說：“殺了他倒成全他得到忠義的美名，以禮相待才能顯出我寬宏大量，不能殺。”他親自為文天祥解縛，並好言相慰，優禮有加。文天祥隻要求給他一把劍，以自刎殉節。張弘範對他嚴加防範，不敢把他監禁在潮陽，而是囚在一艘海船中，四周不斷有元軍水兵巡邏。
祥興二年(1279年)正月，張弘範率水陸兩路元軍直趨崖山，準備消滅南宋流亡政府。文天祥也被押解到崖山來。
珠江口外，零丁洋上，醞釀著一場中國曆史上空前的大規模海戰。就宋元雙方兵力而論，宋軍還略占優勢，張世傑的船隊有大小船艦一千餘艘，其中有不少巨大的海上樓船，將官兵民共二十餘萬．元軍共有大小船隻八百餘艘，而且有二百艘迷失航向，還沒有到達厘山。張弘範看到宋軍的陣勢，感到這場戰鬥沒有必勝的把握，他決定必須智取，盡量避免力敵。
張弘範發現元軍中一個姓韓的軍官是張世傑的外甥，就派他去勸降，遭到張世傑的拒絕．張弘範竟派李恒元帥到文天祥船中，請他寫信向張世傑招降。文天祥他奮筆疾書，頃刻間寫了一首七言律詩交給李恒，這就是那首著名的《過零丁洋》；
辛苦遭逢起一經，幹戈寥落四周星，山河破碎風拋絮，身世飄零雨打萍。皇恐灘頭說皇恐，零丁洋裏歎零丁。人生自古誰無死，留取丹心照汗青。
這是對元軍勸降的有力回答，李恒無可奈何地拿了這首詩向張弘範複命。張弘範看到這首大義凜然的詩篇，不覺讚歎說：“好人好詩”。
崖山決戰已經不可避免，雙方都在準備。其實元軍有不少弱點：一是兵力較少，二是北方士兵慣於馳馬平野，一登上船就頭昏目眩，嘔吐不止，戰鬥力大大削弱：三是船工大都是南方人，心向南方，隻要形勢轉變，他們是會站到宋軍方麵來的。由於近年來張世傑多次失利，他的戰略思想和采用的戰術，都是小心翼翼，力求穩當。決戰前，他竟把大船都連結起來，這祥就隻能守不能攻，失去了靈活性。
二月初六日，決戰這一天終於到來了。張弘範把元軍船隊分為四隊，向宋軍船隊南北夾攻，宋軍士兵全力抵抗，也無法扭轉被動挨打的局麵，元軍士氣旺盛，兩軍船隻靠近時，紛紛登到宋軍船上，隻見宋軍船隻繩斷旗落，陣勢大亂。張世傑看到大勢已去，下令砍斷繩纜，突圍出去。戰鬥從中午到黃昏，宋軍許多船隻已被元軍俘獲。張世傑特別擔心皇帝趙昺的座船，派人駕小船接趙昺到他的帥船中．保護皇帝的陸秀夫擔心混戰之後，來人真偽莫辨，沒有讓接去．皇帝座船較大，突圍不出，，陸秀夫怕靖康故事的重演，他首先叫妻子兒女跳海自盡，又回頭對趙昺說：“國事至此，陛下應當殉國。德枯皇帝(恭帝趙顯)被俘，“受辱已甚，陛下不能再受辱。”說罷即背負九歲的趙昺跳海壯烈殉國。張世傑率一百多艘船隻突圍出去，其餘八百多艘都被元軍俘獲。而張世傑突圍後，遇到一場翻江倒海般的大颶風，許多船隻沉沒海中．將士要他上岸暫避，被他拒絕，終於墮水犧牲。自此，南宋王朝滅亡。
文天祥自始至終觀察著這場崖山決戰，起初，他多麼希望張世傑能打一場扭轉乾坤的戰鬥，事態卻按照他預見的最壞的結局發展，使他痛心疾首，無以複加。他在《集杜詩·南海》序中說：“崖山之敗，親所目擊，痛苦酷罰，無以勝堪，時日夕謀蹈海，而防範不可出矣！”他沒有別的辦法，隻能“坐北舟中，向南慟哭”，他把崖山失敗比作趙長平軍被秦將白起坑殺，把宋朝的失敗歸咎於奸臣誤國。
三月中旬，文天祥被押解到廣州，他正等待著元朝中央政府給他處死的命令，沒有想到張弘範對他更加優待。在慶宴會上，張弘範向文天祥敬酒說：“宋朝已亡，忠孝之事盡矣。文丞相如能改心易慮，以事大宋的忠心事大元，大元賢相，非丞相而誰？”文天祥沉痛地回答：“國亡不能救，作為臣子，死有餘罪，怎敢懷有二心苟且偷生？”張弘範勸降失敗，向忽必烈上了奏章。忽必烈命令把文天祥押來大都。
至元十六年(1279年)四月二十二日，文天祥離開廣州，被押送大都。一同被押北上的還有行朝官員鄧光薦，他們一路上論詩談史，雖然身為囚徒，並不垂頭喪氣，還想有朝一日能夠東山再起。
他們從廣州經英德、曲江，越梅嶺進入江西南安(大庚)，改走贛州水路，經贛州、吉州、隆興，從湖口入鄱陽湖，進入長江後顧流東下，經安慶、池州、魯港，采石磯，六月十二日到達建康．在建康逗留了兩個多月。在建康，文天祥為鄧光薦編了詩集，取名《東海集》，意為應象魯仲連那祥，寧蹈東海而死，義不帝秦，反映了他們寧死不向元朝統治者屈服的決心．到建康不久，鄧光薦就病了，往後文天祥要獨自北上．兩位誌士要分手時，鄧光薦依依不舍地寫下了一闋《念奴嬌·驛中官別》，贈送文天祥：
水天空闊，恨東風不借世間英物。蜀鳥吳花殘照裏，忍見荒城頹壁。銅雀春情，金人秋淚，此恨憑誰雪？堂堂劍氣，鬥牛空認奇傑。那信江海餘生，南行萬裏，屬扁州齊發。正為鷗盟留醉恨，細看濤生雲滅。睨柱吞贏，回旗走懿，千古衝冠發．伴人無寐，秦淮應是孤月。
這闋詞讚揚了文天祥壯誌淩雲、百折不回的精神，也為他生不逢時、天不我助而無限惋惜。文天祥也步原韻奉和了一闋：
乾坤能大，算蛟龍原不是池中物。風雨牢愁無著處，更那寒蟲四壁。橫槊題詩，登樓作賦，萬事空中雪．江流如此，方來還有英傑？堪笑一葉飄零，重來淮水，正涼風新發。鏡裏朱頗都變盡，隻有丹心難滅。去去龍沙，向江山回首，青山如發．故人應念，杜鵑枝上殘月。
文天祥在這闋詞中，表明了自己的心跡。盡管迭遭挫折，最後失敗，仍然要做英雄人物，不向元政府低頭。雖然人形憔悴，而丹心不改。八月二十四日，他繼續北上，從建康經揚州、高郵、淮安、徐州、新濟州(今山東濟寧)、河間，保州(今河北保定)，十月初一日晚上，到達大都。
起初，元朝政府把文天祥安置在會同館裏，這裏是接待投降官員的。管理人員以美酒佳肴款待，視為上賓，接著，勸降的人接踵而來，而第一個來勸降的就是留夢炎，此人與文天祥都是南宋狀元，官至丞相。他在臨安危急時棄官逃走，降元後，任元朝禮部尚書。文天祥見到留夢炎疾惡如仇便厲聲斥罵，留夢炎隻得窘然退下。隨後是瀛國公趙顯，即德祐皇帝，他已被元朝削去帝號，封瀛國公。隻有九歲的趙顯當然不懂得如何勸文天祥投降，元朝統治者是想利用君臣關係來製服文天祥。文天祥見到趙顯，跪下痛哭流涕，連聲說：“聖駕請回”，趙顯隻好快快而去。
元朝權傾朝野的平章政事阿合馬親自來勸降．阿合馬高踞堂上，要文天祥下跪。文天祥昂首挺立，義正詞嚴地說；南朝宰相見北朝宰相，怎麼能跪？阿合馬見文天樣威武不屈，便譏諷地說：“那你怎麼會來到這裏呢？”，文天祥正言厲色答說：“南朝如果早用我做宰相，北人就到不了南方，南人也不會來北方了”。阿合馬無言答對，色厲內在地環顧左右說。“這個人生死由我……”。文天祥立即打斷他的話，高叫：“亡國之人，要殺便殺，說什麼由不由你！”。阿合馬毫無辦法，元政府隻好把文天祥押到兵馬司衙門囚禁起來。十一月初五日，孛羅丞相召文天祥到樞密院，再一次勸降。文天祥回答說：“我盡忠於宋朝，宋亡隻求速死。”表現出他忠貞不二。孛羅又說：“你們丟掉君王（趙顯），另立二王（趙昰、趙昺），算什麼忠臣？”，文天祥答：“社稷為重，君為輕。”孛羅再問：“那你幹出什麼功績了？”文天祥答：“做一天臣子盡一天責，談何功績！”，又說：“現在隻有一死，不必再說什麼！”
元朝政府知道文天祥是錚錚鐵漢，不能易其心誌，於是在牢獄中折磨他。文天祥安之若素，在獄中編自己的詩集《指南後錄》，又集杜詩二百首，並作題記，這些題記是很有價值的南宋末年曆史資料。
土牢寬八尺，深三丈二尺，四麵都是土牆，隻有一個很小的門戶，冬天陰冷，夏天悶熱。有一年夏天，下了傾盆大雨，牢房積水盈尺，水退以後，炎熱逼人，空氣中充滿著濕味，黴味，臭味，簡直使人無法忍受，文天祥居然無災無病，活了下來，他自己也覺得奇怪。忽然他悟出了真諦：因為自己有精神上的修養，這就是孟子所說的“吾善養吾浩然之氣”，這種浩然之氣，就是天地間的正氣。有這種正氣，就可以戰勝種種邪氣。於是文天祥提筆寫下了他那篇氣壯山河、千古不朽的《正氣歌》。
元政府一些官員想利用文天祥的聲望來鞏固對南方的統治，又有人提出繼續勸降．另一些則反對，認為文天祥不死，是留下一個後患。元朝最高統治者還沒有下最後的決心。至元十九年(1282年)八月，元世祖忽必烈在和大臣議事中問道：“南方，北方宰相誰是賢能？”群臣奏稱：“北人無如耶律楚材，南人無如文天祥．”忽必烈下諭，將給文天祥高官顯位，又下令兵馬司優待文天祥，給上等夥食．文天祥拒絕元朝政府給他的優待。
這時北方傳說中山府(今河北保定)有人聚眾數千人，準備打進大都，劫走文丞相。朝廷立即下令戒備．對於文天祥的處置，也到了最後決定的時刻了。十二月初八日，元世祖忽必烈召見文天祥，親自勸降。文天祥來到皇宮大殿上，長揖不跪，侍衛官強行他下跪，他仍昂首挺立。忽必烈對文天祥說：“你在這裏日子久了，如能改心易慮，以臣事宋朝的忠心事我，當令你在中書省有一坐處(意即當宰相)。”
文天祥堅定地回答：“天祥是大宋狀元宰相，宋朝滅亡，隻求速死，不當久生。”“不願當宰相就當樞密。”忽必烈命人傳話。“不能當”。文天祥毫不含糊地回答。“你願意怎麼祥？”“但求一死足矣！”忽必烈無可奈何，隻得命人把他帶回兵馬司監獄。十二月初九日，這是文天祥就義的日子。這一天，元朝政府派來監斬官，率領士兵和樂隊到兵馬司監獄來，頓時金鼓齊鳴。文天祥神情泰然地對獄卒說：“我事畢矣!”即被帶上刑具。押到柴市。到了刑場，文天祥問旁邊的老百姓。哪邊是南方？遂即向南打拜了兩拜，從容就義，終年47歲。文天祥被殺後，大都街頭巷尾，時常傳出哭泣的聲音。
就義的第二天，文天祥的夫人歐陽氏來收領遺體，在衣帶間發現這祥一篇附有序言的讚：
吾位居將相，不能救社稷，正天下，軍敗國辱，為囚虜，其當死久矣！頃被執以來，欲引決而無間。今天與之機，謹向南百拜以死。其讚曰：孔日成仁，孟日取義，惟其義盡，所以仁至，讀聖賢書，所學何事？而今而後，庶幾無愧!宋丞相文天祥絕筆。
文天祥一生剛直不阿，以國為本、高風亮節，深受曆代人民敬仰。清代秦簧詩雲；“破碎河山餘正氣，英靈風雨護荒丘。”