陶淵明在農村住習慣了，自由自在，心情舒暢。當官就不自由了：繁重的公務，繁雜的禮儀，他都無法忍受。特別是經常對來巡視的上司們迎來送往，令他反感。
快到年終時，一天，一位衙役向陶淵明稟報，說："九江太守派督郵張大人來本縣巡察，大人快去迎接吧！"
督郵張大人是個富家子弟，仗著家裏有錢，成為太守的心腹。陶淵明瞧不起他，但他是太守派來的，隻好硬著頭皮去迎接他。陶淵明剛要出去，衙役攔住他說："大人，您必須換上官服參拜，否則，張大人會生氣的。"
陶淵明大喊："我不能為五鬥米折腰，向鄉下小兒低頭！"
"大人別生氣......"衙役勸道。
"你別說了。"陶淵明說，"我不當官了，辭職回家去！"他回到屋裏，把官印朝案上一扔，帶著衣物，離開衙門，坐著小船，回家務農去了。
陶淵明回到家裏，妻子翟氏和孩子們非常高興。翟氏問他："還不夠三個月就回來了？"
陶淵明說："地荒了，回來種田。"
陶淵明提筆寫下一篇《歸去來辭》：
"歸去來兮，田園將蕪胡不歸！......實迷途其未遠，覺今是而昨非。"
陶淵明認為出去當官是失迷了路途，幸虧及時回到家鄉務農，認為自己做對了。他表示不再去當官，要在農村待一輩子。
陶淵明在南山腳下開了十幾畝荒山，在柴桑裏村蓋了幾間草房，房後栽了楊柳，堂前種了桃李。小狗在院子裏汪汪叫，大公雞在樹上啼鳴。陶淵明陶醉在田園風光中，早出晚歸，過著清貧的生活。他寫道：
種豆南山下，草盛豆苗稀。
晨興理荒穢，帶月荷鋤歸。
道狹草木長，夕露沾我衣。
衣沾不足惜，但使願無違。
一天，陶淵明正在幹活，突然聽見有人大喊："快救火呀！"陶淵明朝村子望去，他的茅屋著火了，火舌直向上竄，他飛快地朝家跑。
鄉親們紛紛朝他家跑去，有的扛著鍁，有的提著水桶，把大火撲滅了，隻剩下斷垣殘壁。
陶淵明的家坐落在柴桑裏，那裏很窮。附近的南村富裕，朋友們同情他，請他搬到南村居住。來到南村後，陶淵明與村民們相處得非常好，擺脫了不幸失火的陰影。
陶淵明寫下《移居》詩，描寫在南村的生活，描寫他與村民們的友誼：
春秋多佳日，登高賦新詩。
過門更相呼，有酒斟酌之。