在曆經九死一生之後，文天祥等6人終於在台州（今浙江臨海）城門鎮靠岸。當地百姓一聽文天祥丞相來了，紛紛前來探望。其中有位海上豪傑叫張哲齋，他將文天祥等人請至家中，殷勤招待，促膝交談。
聽完張哲齋介紹了朝廷情況，文天祥心中十分高興，恨不得像大鵬鳥一樣，一展有力的翅膀飛到永嘉，組織抗元鬥爭。張哲齋準備把海上豪傑聯絡在一起，聽從文天祥指揮，反攻明州（今浙江寧波）。二人誌同道合，談得非常投機，文天祥冒死南歸，一上岸便看到了希望，異常興奮。
告別張哲齋，他由陸路趕往永嘉，迫切地想快點兒見到益王、廣王。好同其他大臣、將領商量抗元大計。哪知道，趕到永嘉時，二王已將大元帥府遷到福州。
文天祥立即上書勸益王早日即位，好樹立大家的抗元信心。五月初一，益王在福州登基，改年號為景炎，這便是端宗皇帝。同時還封廣王為衛王，任命了一批文臣武將，召文天祥立即前往福州，商議國事。
文天祥在永嘉居住的一個月裏，幾乎每天都有人拜訪。附近的愛國誌士，原來的同僚、部下，紛紛前來，他們見了文天祥，都建議組織義軍，堅持抗元鬥爭，也都表示一定聽從文天祥的指揮。許多人提出建立一支海上武裝，用海上的優勢，去抗擊元軍。
文天祥原來勤王義軍中的鄒浲、張汴、朱華三人也來了，文天祥一見，極為高興：
“你們從哪兒來，怎麼會找到這裏？”
“自從義軍被解散之後，我們就到了南方，在福建聽說您到了這裏，特地前來，我們都盼望著您再領著我們幹呢！”
“劉沐、陳繼周，還有其他一些兄弟現在怎麼樣？”
“他們帶部分隊伍回了江西，也招兵聚糧，等著配合南方一塊行動呢！”
“真是太好了……”
幾位老戰友敘說了很久。大家都一心要抗擊元軍，成就大業，約定回去準備。
五月二十六日，文天祥到達福州。這時福州已升為福安府。朝廷授予文天祥通議大夫、右丞相兼樞密使、都督諸路軍馬等職。但他沒有受命，主要原因是不滿意左丞相陳宜中的為人行事。臨安被圍時，陳宜中悄然出走，有負於作為宰執大臣，文天祥到行在後，責備他為什麼不奉三宮二王同奔，隻管自己逃命。陳宜中自然很不高興。見到張世傑，文天祥也問他帶來多少兵，張世傑告訴了他。他歎息說：“公軍在此矣，朝廷大軍何在！”張世傑也很不痛快。朝廷權力掌握在陳宜中、張世傑手中，文天祥任丞相，必然要受到許多掣肘，很難有所作為，因此他上表力辭，主動要求出外帶兵，朝廷隻好改任他為樞密使，同都督諸路軍馬。
陳宜中對文天祥確是多方限製。文天祥在永嘉時，和浙南誌士義民頗多接觸，深感民心可用，尤其讚許張和孫關於依靠海上豪傑組織水軍收複兩浙的計劃。他和陳宜中商量，準備親赴永嘉指揮調度，並已寫信給張和孫，請他率領海上義軍收複明州（浙江寧波）。當然這沒有必勝的把握，但無疑會給元軍以沉重的打擊。陳宜中出於私心，堅決不同意這樣做。這有兩個原因，一是由於他的失職使臨安不戰而降，兩浙相繼淪陷，這時正想依靠張世傑的力量收複兩浙，以自洗濯。如果文天祥收複兩浙，他將被置於何地呢？
二是張世傑是武將，重文輕武是宋朝開國以來的一貫政策，日後倘若中興實現，張世傑不可能掌握朝廷大權；文天祥則是狀元出身的宰相，如果再建立軍功，他的聲望可能超過北宋的寇準、範仲淹，甚至獨操朝廷威柄，這是陳宜中非常疑忌的。陳宜中以私心誤大事，這不僅是他個人的悲劇，也誤了朝廷。南宋末年國家艱危，大臣不能同心同德對付敵人，這就注定了它必然失敗。
從海上收複兩浙的計劃不能實現，文天祥打算到廣州招集兵馬，作北伐的準備。他在福安等待廣州的諜報。這時軍情稍為緩和，他就利用這段時間著手編訂《指南錄》，他按時間順序編為四卷，第一卷包括出使北營，羈留皋亭山；第二卷從臨安出發，經平江、常州，渡瓜洲並返回鎮江；第三卷從鎮江脫險，趨真州、揚州、高郵、泰州、通州；第四卷自海上到永嘉，再到福安行在。這些詩篇是他英勇戰鬥的生動記錄，顛沛流離的真實寫照，崇高精神的具體反映。他以工整的筆跡，抄錄在潔白的紙上，以便後人讀之，知道他的遭遇，了解他的心跡。在通州，他寫過一篇《指南錄自序》，這時他感到意猶未盡，又增寫了一篇《後序》，序中對在真州時與兩淮製使“約以連兵大舉”，以為“中興機會庶幾在此”，可是旋即幻滅，這使他感到無限惋惜。他曆述自己九死一生的情況說：
餘之及於死者，不知其幾矣：詆大酋當死；罵逆賊當死；與貴酋處二十日，爭曲直屢當死；去京口，扶匕首以備不測，幾自頸死；經北艦十餘裏，為巡船所物色，幾從魚腹死；真州逐之城門外，幾徨死；如揚州，過瓜洲、揚子橋，竟使遇哨，無不死；揚州城下，進退不由，殆例送死；坐桂公塘土圍中，騎數千過其門，幾落賊手死；賈家莊幾為巡徼所陵迫死；夜趨高郵，迷失道，幾陷死；質明，避哨竹林中，邏者數十騎，幾無所逃死；至高郵，製府檄下，幾以捕係死；行城子河，出入亂屍中，舟與哨相後先，幾邂逅死；至海陵，如高沙，常恐無辜死；道海安、如皋，凡三百裏，北與寇往來其間，無日而非可死；至通州，幾以不納死；以小舟涉鯨波，出無可奈何，而死固付之度外矣。
他自己說，“境界危惡，層見錯出，非人世所堪”，這實在一點也不誇張。雖然遭遇如此，他丹心未改，表示要“鞠躬盡瘁，死而後已”，“生無以救國難，死猶為厲鬼以擊賊”，這種精神實在可欽可佩。這是一篇千古的雄文，英雄的浩歌，幾百年後，還閃爍著光芒！
不久，元軍進行新的部署，伯顏進入臨安沒留多長時間，就回大都去，留下忙古歹鎮守浙東，唆都鎮守浙西；阿剌罕、董文炳繼續攻占浙、閩州縣；師夔、李恒則進兵江西。另一路元軍由鄂州南下，去年年底開始圍攻潭州，知潭州李芾堅持抵抗了三個多月，後來城破全家殉節。接著，袁州（江西宜春）、連州（廣東連縣）、衡州（湖南衡陽）、郴州相繼降元。六月間，廣州守將也投降元軍。文天祥開督府於廣州的計劃無法實行了。於是改以南劍州（福建南平）為同督府。
七月初四，文天祥自福安出發，十三日到達南劍州。南劍是閩江上遊劍溪、沙溪的會合處，依山建城，地勢非常險要，素有“八閩屏障”的稱號。文天祥在這裏建立了同督府，親自草擬檄文，號召天下義士參加勤王義軍。
各地的英雄豪傑、忠義之士見到了檄文，特別是聽說文天祥親自主持，紛紛響應。他們從四麵八方趕到南劍州，每天從早到晚，絡繹不絕。這次組建義軍的聲勢和規模，比當年在江西贛州組織勤王軍大得多。投效到文天祥軍中的，既有文職官員，富有謀略的知名人士，也有久曆戎旅的戰將。
在文官中，繆朝宗和趙時賞很受文天祥的讚賞。繆朝宗是江淮人，曾經知梅州（廣東梅縣）。文天祥在平江時，他曾來投效，這次又從婺州趕來拜見老上司。他為人精練實幹，孜孜奉公，在督府任環衛官，主管督府軍器。趙時賞是宋朝宗室，曾值寶章閣，任軍器大監，在旌縣（安徽旌德）做縣官時，曾以一縣的力量抵抗元軍，立過軍功。臨安陷落後，他輾轉入閩。投效督府後，他自帶一支偏師，獨擋一麵。
武將中著名的有荊湖宿將鞏信，他是奉朝廷命令帶部隊來歸文天祥指揮的，在督府擔任都統製、江西招諭使。他久曆沙場，沉著勇敢，又富有謀略。另一個叫林琦，曾招集赭山義軍到餘抗投文天祥，臨安陷落後，帶領水軍在海上抗元。這個人既能帶兵，又有文才。這兩員武將，很受文天祥的器重。
福建許多著名的地方人士，也紛紛投入督府。泉州老儒陳龍複，曾任州縣官多年，以清儉著名，很有聲望，他在督府中任參議官。長溪青年謝翱，擅長文章，聽說文天祥開府南劍，也紛紛來投奔。他們的參與，造成了很大的影響，投奔的人越來越多……
文天祥原來的部下，也紛紛前來。劉沐在江西家鄉組織了大隊人馬，特地趕到福建。另外一些人，則在江西準備迎接文天祥。
文天祥不僅在福建征兵，還派人四處活動，募兵籌餉，聯絡民間武裝。杜滸是天台人，便被派到浙東，呂武被派往江淮一帶……
大規模的義軍組織起來了，人人精神振奮。文天祥激動地對大家說：“元軍雖然占領了臨安，但大宋還沒有亡，端宗皇帝還在福建，我們奮勇殺敵，就能守住東南這片國土，進而收複失地，複興大宋！”
義軍將士都覺得有千斤重擔壓在自己的肩頭，紛紛發出誓言：“有進無退，誓死殺敵！”
正當文天祥在南劍組織起浩大聲勢的義軍時，元軍先把兩淮地區全部攻占，又進一步猛攻閩浙地區。陳宜中繼續搞投降活動，他既不同意文天祥進軍浙江，也不同意文天祥反攻江西而與戰友會合，還命令文天祥自南劍移兵汀州（今福建長汀），而且把小皇帝搬上海船而長期漂泊。
景炎二年（1277年）正月，文天祥又移兵福建漳州龍岩，他準奮攻下梅州，然後再次向江西進軍，去主動攻擊元軍。而元軍統帥則認為，宋帝、宋後和大批文臣武將已經投降，宋朝的土地也大部分落在元軍手裏，小皇帝又跑到海上。文天祥再硬，現在也可以勸他投降。而隻要文天祥一投降，大宋也就完了。於是，元軍頭目便紛紛派人到文天祥那裏勸降。
元朝的右丞相唆都、左丞相阿剌罕、參政董文炳、處州降將李玨和南劍州的降將王積翁等等，都認為自己同文天祥有過交往，能夠勸降文天祥，於是就你一封我一封地寫了勸降信，交給一名叫羅輝的淮軍舊將，讓他給文天祥送去。他們想，這麼多人給文天祥寫信，信上說了那多好話，一定能讓文天祥的腦筋變靈活一點兒，自動歸順元朝。
羅輝來到文天祥的大營，將信拿出來，文天祥看也沒看就把信撕得粉碎，氣憤地說：“拉下去，痛打一百大板！”接著，又提筆寫了拒降信，讓羅輝帶回去。這封信義正辭嚴，大義凜然，首先讚揚為國捐軀的將士英勇而壯烈的行為，接著表達自己忠於大宋、甘願獻身的決心，是任何人都動搖不了的，最後是拒絕勸降，宣布自己將戰鬥到生命的最後一息。