鹹淳六年（1270年）九月，文天祥被免官後回到家鄉。他深感人心險惡，世道汙濁，決意息影林泉。他在文山修建了一所山莊，隱居於此，寄情山水。閑暇的時候，一個人閑居獨坐，偶爾也跟朋友吟詩、釣魚，日子倒也過得逍遙自在。
然而，他的內心一點也不寧靜，每見落葉蕭蕭，涼月墮階，憂國憂民之情就油然而生。我們可以從他留下的詩來讀到他心中的抑鬱不平之意，如：“桑弧未了男子事，何能局促甘囚山。昔年此日作初度，賓客如雲劇歡舞……簸揚且聽箕張口，丈夫壯氣須衝鬥。夜闌拂劍碧光寒，握手相期出雲表。”
就在他隱居文山的第三年，有一個京城的朋友來看他，朋友感歎說：“天祥老弟，你還有心情在這裏飲酒啊，北方的襄陽、樊城都已經失守了！”
“呂文煥不是死守襄陽城嗎？”
“襄陽被圍了五年多，一心盼望救兵來到，無奈久困援絕，聽說呂文煥每次巡城，便向著南方痛哭不已。”
文天祥痛心疾首，問道：“現在的情形怎麼樣了？”
朋友告訴他，忽必烈又從四川增兵，襄、樊兩城所受壓力越來越大，到1272年，襄、樊糧食已基本耗盡，但兩城軍民依然鬥誌昂揚，元兵始終無法破城。
這一年，南宋大將李庭芝派張貴、張順率3000士兵，攜帶城內急需物資，成功突破元兵的包圍，衝進了襄陽，這是五年內第一支進入襄陽的援兵，極大鼓舞了全城軍民的士氣。
此後，襄陽宋軍與外圍的宋軍取得聯係，雙方約好共同夾擊元軍。隻是有叛徒向元兵投降，出賣了這個計劃，致使襄陽宋軍遭到元軍埋伏，損失慘重，再也無力反攻。
呂文煥屢次告急於朝廷，太師賈似道表麵上請皇帝派他親自上陣，而私底下，卻叫他的同黨上書留他在京城，如此反反複複。
朋友說：“樊城被攻破以後，守臣範天順殉難而死。元人運來了巨炮，炮彈重150斤，大炮發射時，震天動地，所到之處，皆為齏粉。這一炮就毀了襄陽的城樓，呂文煥無法再支撐下去，便出城投降了。”
聽到這個消息，文天祥的心情非常沉重。
襄、樊失守後不久，文天祥再被起用，派為湖南的提刑使。這時候，他已經是37歲，在文山隱居了將近三年，雖是堅決請辭，但終究沒有獲準，隻好上任了。
到了湖南以後，聽說江萬裏先生出任荊湖南路安撫使兼知潭州，於是文天祥便前往長沙去拜見他的老師。
兩人見麵格外歡喜，話過家常以後，江先生語重心長地對他說：“我已經老了，看目前的情形，恐怕不久就會出大亂子。我見過的人雖然不少，但是將來能夠擔得起救亂重任的，隻有像你這樣的人了。”
文天祥一聽，想起目前的危難、朝廷的混亂，以及老師的托付，不由得悲從中來，眼淚奪眶而出，哽咽地說：“我文天祥本無所長，唯有一片孤忠罷了。”
二人經過這次會麵以後，江萬裏以年老多病辭去官職，回到饒州老家。文天祥為了便於奉養老母，也請調回江西去了。
就在他回江西贛州的這一年，元世祖忽必烈命伯顏任中書左丞相，統率各路軍馬，由襄陽城一路進攻下來。伯顏、阿術領一軍，由襄陽入漢水過長江，以降將呂文煥為先鋒。史天澤也是軍中統帥，但在進軍途中病死。右丞相博羅歡以及阿塔海、劉整、塔出、董文炳領另一軍，自東道取揚州，以劉整為先鋒。