家中人口的增加，又逢災荒，陶淵明又不擅長幹農活，即使自己很勤快，親自參加耕種，卻常常受凍挨餓，連粗糧大布都得不到，家裏還經常出現吃了上頓沒了下頓的情況。
陶淵明時常責備自己怎麼那麼笨，謀生無路，而別人卻各得其所，生活過得很適意。他將這種無可奈何的憤憤不平反映到了詩歌創作中去。
《雜詩其八》
代耕本非望，所業在田桑。
躬耕未曾替，寒餒常糟糠。
豈期過滿腹，但願飽粳糧，
禦冬足大布，粗絺以應陽，
正爾不能得，哀哉亦可傷！
人皆盡獲宜，拙生失其方，
理也可奈何，且為陶一觴。
在無人理睬的情況下，陶淵明隻能借酒消愁了。
翟氏夫人雖然精明強幹，但對丈夫有著好端端的官差不做，埋頭在田間地頭自得其樂，而且在收成不佳的年份，家裏都快揭不開鍋了，還自顧自在一個勁地飲酒是不能理解的。她是個現實主義者，必須麵對一家老小的生活，嘴上雖然沒有說什麼，心裏卻始終有個結沒有打開。
陶淵明則整天沉溺於自己的理想王國之中，即使到了如今這般地步，仍然沒有改變不再出仕的初衷。他每天的必修課是讀《論語》、《高士傳》、《山海經》等書籍來激勵自己，吟詩來抒發自己的感情，飲酒來排遣自己胸中的苦悶……
《丙辰歲八月中於下潠田舍獲》
貧居依稼穡，戮力東林隈。
不言春作苦，常恐負所懷。
司田眷有秋，寄聲與我諧。
饑者歡初飽，束帶候鳴雞。
揚楫越平湖，泛隨清壑回。
鬱鬱荒山裏，猿聲閑且哀。
悲風愛靜夜，林鳥喜晨開。
曰餘作此來，三四星火頹。
姿年逝已老，其事未雲乖。
遙謝荷蓧翁，聊得從君棲。
陶淵明對荷蓧丈人這些古代從事耕種的隱士，表達了深深的敬意，這些事跡時常激勵自己在歸隱的道路上繼續前進。
理想歸理想，人類之所以能夠在世上立足，生存是第一位的，陶淵明的固執、迂腐，使得自己與家人都餓得麵黃肌瘦，五個兒子和二個侄子則是一件破衣裳要穿四季，每當孩子們有怨言時，陶淵明總是拿出《高士傳》來開導他們，商山四皓的歌詞也是陶淵明酒後一再吟唱的曲目：“莫莫高山，深穀逶迤，曄曄紫芝，可以療饑。唐虞世遠，吾將安歸！駟馬高蓋，其憂甚大，富貴之畏人兮，不如貧賤之肆誌。”於是在陶淵明的倡導下，沒有糧食，一家人開始靠挖樹皮野菜度日。
鄉裏鄰居見了這位一點也沒有官架子，自願十幾年在農村隱居的大官陶淵明也紛紛慷慨解囊，幫助他們度過難關。
“陶令公啊！你這是何苦作踐自己和家人呢？”鄉裏遠近有威望的田父這天一大早就提著酒找到陶淵明家，“你可不是幹農活的料啊。”
“老人家，我覺得自己還是能夠在農村生活的啊。”陶淵明則樂嗬嗬的回答：“無憂無慮，沒有塵世的煩惱，多好啊！”
“都快喝西北風了，你還樂的？”田父責怪道：“你瞧瞧這一家人個個骨瘦如柴，像是餓死鬼投胎的；人人衣衫繿縷，仿佛出土文物似的，你又不是沒有那個能力，隻要你出去做點事，這一切立馬可以改變。你啊……為什麼那麼強呢？這不是自討苦吃又是什麼呢？”
“我住在茅屋，吃著糟糧野草，沒覺得什麼不好的啊？”陶淵明神態自若地說。
“穿著如此破爛的衣裳住在如此簡陋的茅屋，這地方不值得您那樣傑出的人物居住啊！”田父由衷替陶淵明不平。
“那是自己心裏的感覺罷了。”陶淵明無動於衷地回答道：“古人尚且能夠做到的事，何陋之有？何苦之受？”
田父見勸解無效，也不再與陶淵明爭執了，隻是拿出酒與陶淵明對酌了起來。
陶淵明感謝鄉裏鄉親對自己及家人的厚愛，他寫下了一首《飲酒》詩，記敘了自己與田父的交往與談話，反映了他們之間友好相處的樂趣，表達了自己不願出仕的決心。
《飲酒其九》
清晨聞叩門，倒裳往自開。
問子為誰與？田父有好懷。
壺漿遠見候，疑我與時乖。
“繿縷茅簷下，未足為高棲。
一世皆尚同，願君汩其泥。”
“深感父老言，稟氣寡所諧。
紆轡誠可學，違己詎非迷！
且共歡此飲，吾駕不可回。”
家人、鄉人均不理解陶淵明歸隱的苦衷，陶淵明的憤懣之情又能向誰傾訴？如今萬壽已經不在了，世上的知音也沒有了，隻能將這種情感融入到詩文的創作中去了。
義熙十三年（417年），當劉裕北伐，收複長安，滅掉後秦，駐軍關中時，左將軍朱齡石派長史羊鬆齡赴關中稱賀。羊鬆齡是陶淵明的好朋友，當他前往關中前，特意來看望陶淵明，對於南北分裂的局麵陶淵明是不滿意的，他希望南北能夠統一，向往到中原去遊曆，尋找孔孟的遺跡，了卻一生的夙願，他當即賦詩一首以表達自己的感受。
《贈羊長史（並序）》
左軍羊長史，銜使秦川，作此與之。
愚生三季後，慨然念黃虞。
得知千載上，正賴古人書。
賢聖留遺跡，事事在中都。
豈忘遊心目，關河不可逾。
九域甫已一，逝將理舟輿。
聞君當先邁，負屙不獲俱。
路若經商山，為我少躊躇。
多謝綺與甪，精爽今何如？
紫芝誰複采？深穀久應蕪。
駟馬無貰患，貧賤有交娛。
清謠結心曲，人乖運見疏。
擁懷累代下，言盡意不舒。
劉裕在滅掉後秦之後匆匆南還，關中人民旋即又陷於匈奴統治者赫連勃勃的蹂躪之下。劉裕回建康的原因是他留在朝中的盟友劉穆之去世了。而劉穆之去世的原因，正是由於劉裕的急於稱帝。當晉軍攻下洛陽的時候，劉裕覺得自己居功至偉，有了更多和朝廷討價還價的籌碼，就派人回到建康向皇帝索要九錫。九錫包括車馬、衣物、衛兵等，由皇帝獎賞給功臣，是一道權臣篡位前的必經程序，比如司馬昭和桓溫打算篡位時都曾經向皇帝索要過九錫。
劉穆之沒有想到劉裕這麼明目張膽地藐視朝廷，羞憤之下竟然病發去世了。這一下劉裕覺得在朝中失去了心腹和根基，頓時擔心起自己的地位來。他留下十二歲的兒子劉義真做安西將軍，讓他鎮守長安，自己連忙趕回建康。當他離開的時候，滿懷希望的長安百姓都無比痛心失望，紛紛來到劉裕門前請願。但在劉裕看來，這些當然遠沒有他當皇帝重要，他不顧百姓們的挽留，終於還是離開了。後來夏國王赫連勃勃進攻關中，劉義真撤回江南，本來很有希望的北伐事業就這樣功虧一簣了。
接著，劉裕滅掉劉毅、司馬休之、諸葛長民等異己，元熙二年（420年），劉裕迫司馬德文禪讓，即皇帝位，國號宋，改元永初。東晉滅亡，中國開始進入南北朝時期。劉宋初期，因劉裕在晉朝末期收複北方的青、兗、司三州，大致擁有黃河以南的廣大地區，成為東晉南朝時期疆域最大，實力最強，經濟最發達，文化最繁榮的一個王朝。
東晉王朝就這樣滅亡了。
陶淵明聽說東晉滅亡，那個曾祖為之效力，自己苦苦追求的東晉就這樣消失得無影無蹤了，他欲哭無淚，所能做的就是將自己的名改為“潛”，意為東晉遺民潛伏下來之意。