丞相陳宜中害怕被扣留，沒敢去議降。朝廷派趙吉甫、賈餘慶獻上傳國玉璽和恭帝趙顯的降表，向伯顏請降．表中趙顯已削去帝號，自稱“國主”，並“以兩浙、福建、江東西、湖南、二廣、四川、兩淮現有州郡，悉上聖朝”，把土地也獻出來．伯顏仍要求派宰相來接洽投降事宜。
元軍兵臨城下，太皇太後詔命文天祥為右丞相兼樞密使，都督諸路兵馬，要他出來維持殘局。幾位執政大臣在左丞相吳堅的府第計議對策，他們都認為到伯顏營中談判是非去不可的，但誰也不願去，而屬意於文天祥。文天祥自忖國事至此，不能顧惜一身了。而且他幻想要以大義來說動伯顏退兵，終於決定挺身而出．太皇太後命文天祥和吳堅、賈餘慶、謝堂等人到伯顏營中去．吳堅膽小怕事，不敢抗爭，謝堂遇事唯唯諾諾，沒有主意：賈餘慶是卑鄙小人，一味奉迎元軍，以求取得新朝官位。這場尖銳的談判，勢必由文天祥來擔任主要角色。他深感自己責任重大，下定決心：不為利誘，不被威屈，不辱使命。
伯顏大營設在臨安郊外的皋亭山明因寺．文天祥到來後，昂首闊步入見伯顏。營中刀槍森列，元軍殺氣騰騰，他槐若等閑，十分坦然。伯顏首先問：“丞相來談投降的事啊？”文天祥不承認是投降，而說是來談判的。他嚴肅地說：“投降是前丞相一手經辦的，我一概不知道。太皇太後命我為丞相，先來軍前商量。”伯顏連忙改口說：“丞相來勾當大事，這很好嘛！”文天祥直截了當地問：“本朝承帝王正統，衣冠禮樂所在，北朝究竟想把它作為國家來對待呢？還是要毀它的社稷？”
伯顏隻好說：“皇上(指元世祖忽必烈)的詔書說得很明白：社稷必不動，百姓必不殺。”
文天祥義正詞嚴地指出：“現在兩國丞相親訂盟好，你們應當退兵平江或嘉興，把和議情況奏聞北朝，北朝詔令下來後再作續議。”
伯顏正是為了滅宋而來，怎麼肯退兵呢？他露出勝利者的踞傲、驕橫的神氣，威脅著文天祥。
文天祥以高亢的聲調繼續說：“能依我所說，雙方講和，是為上策：不然南北兵禍不已，對你們也沒有好處。”文天祥的強硬態度使伯顏感到詫異，他從沒有見到宋朝的使節敢於這祥對待元軍的統帥，但也不相信文天祥不能屈服，聲色俱厲地恐嚇著要把他置於死地。文天祥毫不畏懼，大義凜然地回答：“我是宋朝的狀元宰相，但欠一死報國，刀鋸鼎鑊，在所不懼。”軍營中元軍將官見到文天祥竟是這祥一個頂天立地的男子，都十分驚奇欽佩。伯顏和幾個將領進去商量後出來對南宋的使節說，吳堅，賈餘慶、謝全等人回臨安城見太皇太後，文丞相暫留下來，大家商議完畢，即可回去。這是伯顏的一條毒計，他對南宋大臣的情況了如指掌，吳堅、謝堂等老朽，他根本不放在眼裏，文天祥聲望很高，登高一呼，從者敷萬，這對元軍是極大的威脅，如果把他放回去，就會率勤王軍抵抗，對元軍不利，因此伯顏決定把他扣留下來。
文天祥提出抗議，伯顏耍起無賴，笑而不答。文天祥憤怒地質問：“我是為商議宋元雙方大事來的，為什麼把我扣留起來？”伯顏無法正麵回答，叫人把他帶到伴館中，軟禁起來。
第二天，太皇太後派吳堅等人送來降表，伯顏接受降表，南宋朝廷正式投降。文天祥被邀進軍營時，儀式已經結束．看到這個情景，他怒火中燒，他痛恨滅亡宋朝的元軍，對一些大臣的顬頇無能也很氣憤，特別憎惡那些想當新貴的敗類。
重舉義旗
伯顏脅迫宋朝一批大臣作“祈請使”，奉表到大都陛見元世祖忽必烈。文天祥也一同去，但他沒有使節的身份，形同囚徒。押解的元軍對文天祥嚴加防範，而且不時侮辱他．他們一行從臨安出發，沿運河北上，經杭縣到平江，又經無錫、常州，走了十天才到鎮江。第二天，渡江到瓜州去拜見元軍元帥阿術．一些大臣竭力奉承，唯獨文天祥怒目而視，始終不發一言。阿術也看得出來，幸好沒有采取特殊的措施。文天祥和他的隨行人員千方百計準備從鎮江逃脫．元軍江防極嚴，所有船隻都被管製．到了第九天，居然有一個船戶，敬重文丞相，甘願冒死送他們到真州(江蘇儀征)。在一個月黑風高的夜裏，他們從鎮江逃脫，來到真州。
真州守將苗再成對宋朝忠心耿耿，一心想要恢複舊河山，對文天祥的到來十分高興．他認為以丞相、樞密的威望作號召，江淮的宋朝將領同仇敵愾，要挽回頹局是大有希望的．他把考慮多時的想法告訴文天祥：兩淮兵力足以複興，隻要淮東製置使李庭芝和淮西製置使夏貴能同心協力，西麵佯攻建康，東麵以通州、泰州軍打灣頭、揚於橋兩個元軍據點，揚州大軍進攻瓜步，真州軍隊直搗鎮江，各路軍隊同日行動，元軍顧此失彼，隻要拿下建康，鎮江，兩浙元軍盤有退路，伯顏可以生擒了，文天祥聽了，喜不自製，認為中興機會在此一舉。他連忙寫信給李庭芝，夏貴和各州郡將領。這個戰略是正確的，如能實行，可以沉重打擊元軍，但它巳無法實現了，因為前幾天夏貴已經投降，而李庭芝不相信文天祥這祥的重要人物在元軍的嚴密戒備中竟能逃脫，認為他是被放出來賺城的奸細，並移文真州要苗再成加以殺害，苗再成懷疑此事，怕錯殺忠良，隻是把文天祥一行十二人騙出城去，叫他們自找生路。
“誤把忠良按劍猜”，被自己人懷疑比被敵人侮唇更難忍受，文天祥痛苦的心情到了極點，他們打算到揚州去和李庭芝說個清楚．也有人反對，說到揚州正好送上虎口。最後他們決定不去揚州。經曆了千辛萬苦，才從高郵、泰州到了通州(今江蘇南通)。
通州守將楊師亮對文天祥熱情接待，讓他到州衙好好休息．兩個多月來，頰沛流離，這時才能過著比較安定的日子．文天祥把他從寓開臨安到達通州一路上所寫的詩一百多首，編了集子叫《指南錄》，表示心向南方，矢誌不移．他還寫了一篇序，敘述自己從離開平扛府入衛獨鬆關到出使北營，鎮江脫險、曆盡艱辛到達通州的經過，這不僅是他的一篇簡要的自傳，也是極其寶貴的曆史資料。在通州，文天祥獲得一個使他異常興奮的消息：吉王趙罡、信王趙昺在駙馬都尉楊鎮等人的護衛下，到溫州重新建立朝廷，挽狂瀾於既倒．陸秀夫，張世傑等也到溫州來．陳宜中本來就逃到了溫州．文天祥由海路到溫州來朝覲二王．從通州揚帆出海時，文天祥佇立船頭，口占七絕一首：“幾日隨風北海遊，回首揚於大江頭。臣心一片磁針石，不指南方誓不休。”詩中表示他南行的赤子之心和繼續戰鬥的決心。
經過十三天，船從台州(浙江臨海)靠岸。文天祥由陸路趕到溫州，原來二王巳把大元帥府移到福州．文天祥寫了奏章，派人星夜送福州行在。主持朝政的陳宜中也派人來溫州，和文天祥商議吉王即帝位事宜．有了皇帝，就象征著宋朝的存在，文天祥完全讚同，並上書勸進，自己暫留溫州候命。
吉王在福州登極，改元景炎，他就是端宗皇帝。信王晉封為衛王。陳宜中任左丞相兼樞密使，張世傑為樞密副使，陸秀夫為直學士，文天祥為觀文殿學士、侍讀，朝廷召他立即到福州來。
文天祥脫險來到溫州的消息傳開後，在浙、閩各地的同僚、舊部，不少人趕來溫州和他商議重舉義旗的事。他們準備在浙，閩發展水軍，如能擁有幾百艘海船，則可望收複江淮、浙東失地．楊師亮可在通州一帶策應。文天祥把這一計劃寫信報告陳宜中，陳宜中並不熱心，計劃無法執行。文天祥親自來到福州，朝廷授予右丞相兼樞密使、都督諸路軍馬等職．他沒有受命，主要原因是他不滿左丞相陳宜中的為人行事。臨安被圍時，陳宜中悄然出走，收複浙東，淮東的計劃，又未被采納，這是陳宜中的私心在作怪．因為兩漸是陳宜中為宰執大臣時失去的，他想依靠張世傑收回，不讓文天祥得此功勞。宋朝一向重文輕武，張世傑是武將，他收複兩浙，也不可能掌握朝廷大權，陳宜中仍然可以穩坐在左丞相的位置上，如果文天祥收複兩浙，成為中興功臣，原來又曾任右丞相兼樞密使，就很可能獨操朝廷威柄．文天祥是洞察陳宜中這個心計的，因此他上表力辭，朝廷隻好改任他為樞密使，同都督諸路軍馬。陳宜中以私心誤大事，南宋末年國家艱危，大臣不能同心同德對付敵人，這就注定了他們必然失敗。
文天祥打算到廣州招集兵馬，作北伐的準備。這時元軍進行新的部署，分數路向南進攻。一路攻占浙閩州縣，一路進兵江西，另一路由鄂州南下，取潭州，廣州守將投降元軍，開督府於廣州的計劃無法實現了。
景炎元年(1276年)七月十三日，文天祥到達南劍州(福建南平)，這是閩北軍事要地，素有“八閩屏障”的稱號．文天祥在這裏組織督府軍，來投效的既有富有謀略的人士，也有久曆戎旅的戰將。開府南劍，規模、聲勢比在贛州組織勤王軍大得多．十月，塔出、李恒率領的元軍連陷江西許多州縣，朝廷命文天祥出兵汀州。十一月，督府人員大都采到汀州，文天祥作了部署，派遣趙時賞、趙盂榮取道石城，攻克寧都：派吳浚駐屯瑞金，相機攻取雩都，劉洙在江西策應，鄒飄在寧都起義，裏應外合。不幸鄒飄起義失敗，幾個首領遇難，計劃遭到挫折。
這時間刺罕、董文炳率領元軍越仙霞嶺進入福建，陷建寧府(福建建甌)，南劍被圍．知南劍州王積翁棄城逃到福安府(即福州，這時升為府)，南劍落入元軍手中。南劍淪陷，行都福安失去屏藩，受到很大威脅。這時宋軍尚有十七萬人，民兵三十萬，還有戰鬥經驗豐富的淮兵一萬，如果有得力將領指揮，有正確的戰略戰術，和元軍在閩江中遊決戰，誰勝誰負還難預料。但朝廷無人下這個決心，陳宜中、張世傑驚惶失措，匆匆護送端宗和衛王登舟入海，福安隨即陷落．此後，南宋小朝廷設在船上，成為海上的流亡政府。起先船泊泉州港．泉州勢力最大的是阿刺伯商人蒲壽庚。他居住中國幾十年，當上市舶司使，看到元軍勢大，投降元軍。南宋船艦在泉州站不住腳，開向廣東潮州，不久又移師惠州甲子門(今海豐縣東麵海口)．從此南宋政府再沒有在大陸上行使中央政府的權力。閩北、閩東、閩南相繼陷落後，江西局勢也繼續惡化，這給處於閩西的文天祥增加很多困難。元軍統帥李恒看到文天祥的困境，派降將吳浚來勸降；文天祥宣布吳浚的罪行，果斷地把他處死。督府軍中也有一些人動搖，文天祥正以軍法，局麵才穩定下采。
景炎二年(1277年)二月，文天祥率督府軍移屯梅州(今廣東梅縣)．五月，經過一番整頓後，主力越過梅嶺，開展收複江西的戰役。勤王軍舊部和各地義民紛紛起來和督府軍相呼應，江西的抗元鬥爭掀起了高潮。樂安人何時招集一支義軍攻克了崇仁縣。文天祥的大妹夫吉州龍泉縣令孫桌組織本縣人起事，收複了縣城。另一個妹夫彭震龍收複永新縣城。攸縣人吳希爽等在湘贛邊境起義，攻克袁州萍鄉縣。在這個有利形勢下，文天祥率主力一舉攻克了贛州會昌縣，接著又取得了雩都大捷，並乘勝攻克興國縣，移督府於興國。一連串的勝利，對各地義兵鼓舞很大。分寧、武寧、建昌三縣豪傑派人來要求文天祥指揮．臨川、洪州、袁州，瑞州義兵也來請求受督府節製，抗元聲勢越來越大。文天祥對軍事作了一番布置：派遣督府參謀張汴率領主力部隊直逼贛州城：鄒楓率贛縣義兵攻永豐、吉水，黎貴達率吉州所屬各縣義兵收複泰和。這時贛州所屬各縣已全部克複，元軍被困守在贛州孤城之中，吉州所屬八縣恢複了四個縣．督府軍大有席卷贛南之勢。湖南的抗元鬥爭也日趨激烈。衡山、湘潭、攸縣，新化、安化、益陽、寧鄉等縣，都被當地義軍攻克。
元軍從襄陽東下以後，沒有遇到這祥的軍民聯合抵抗的局麵。元軍非常緊張．立即采取對策，開展大規模的攻勢。八月間，李恒率精銳部隊兼程來贛南阻遏宋軍的攻勢。黎貴達率領督府軍一千多人和民兵數千在泰和同元軍遭遇，民兵沒有作戰經驗，很快就潰散了。鄒飄在水平聚集兵民數萬，也被元軍所敗。督府軍都是步兵，元軍以鐵騎衝擊，往往很難抵抗，數萬軍隊，經過幾次戰鬥，已被擊潰大半．在興國的督府，兵力不多，文天祥隻好帶著他們撤退。李恒在背後緊緊追趕，文天祥且戰且退，張汴，趙時賞、劉洙等將領都壯烈犧牲。督府軍幾乎全軍覆沒。