劉宋文帝元嘉三年（426年），文帝劉義隆為鞏固其統治，對世家大族采取籠絡政策，謝靈運由於名氣大，被征召為秘書監，還被指定撰修晉史。但時隔不久，謝靈運就看出皇帝對他表麵上尊重，實際上“惟以文義接見”，隻是要他充當一名文學侍從罷了，並無政治上加以任用的意思，而朝中真正受重用的卻是些名望才幹遠不如他的人。不久，謝靈運再辭官歸始寧，與朋友往來吟詠，或率領數百隨從出入於深山幽穀，探奇覓勝。
謝靈運酷愛登山，而且喜歡攀登幽靜險峻的山峰，高達數十丈的岩峰他也敢上，可以說是古代第一位攀岩運動的先行者。他登山時常穿一雙木製的釘鞋，上山取掉前掌的齒釘，下山取掉後掌的齒釘，於是，上山下山分外省力穩當，這就是著名的“謝公屐”。劉宋文帝元嘉八年（431年），宋文帝又讓他出任臨川內史，但他還是不理政事，終日出遊，被地方官員糾彈，要治他的罪。謝靈運不服，反把有關吏員扣押起來。他還賦詩一首：“韓亡子房奮，秦帝魯連恥。本自江海人，忠義感君子。”將劉宋王朝比作暴秦政權，並以張良、魯仲連自比，暗示要像他們那樣為被滅亡的故國複仇雪恥。這種行為和言論，加重了他的罪名，被判免死流放廣州。可是剛到廣州，朝廷的公文又到了，誣他又犯下了新的叛逆罪，命令將他就地正法。元嘉十年（433年）10月謝靈運在廣州被處棄市刑（當街斬首），死時僅四十九歲。一代文豪猶如一顆流星，在曆史的天空劃過一道短暫而耀眼的光芒，倏然而逝。
謝靈運具有多方麵的才能，文學上的主要成就在於山水詩，由其始，山水詩乃成中國文學史上的一大流派。除詩文創作外，他還兼通史學，精通佛教老莊哲學，工於書法、繪畫。宋文帝劉義隆曾稱賞他的詩和字為“二寶”。他跟廬山東林寺的名僧慧遠也有深交，盡管慧遠比他大五十來歲，兩人還是很投緣。慧遠圓寂後，他特地寫了一篇祭吊的名文《遠法師訁來》，一時洛陽紙貴。
由於謝靈運食封康樂，在萬載縣的影響可謂深遠，成為曆代婦孺皆知的人物。該縣謝姓百姓對他更是有口皆碑，言必談謝公康樂侯，並以此為榮耀。不僅如此，該縣曆代文人雅士及至縣衙都十分敬重謝靈運，據縣誌記載，元至正七年（1347年），由僧人片雲募款，邑人龍王向在該縣東北十裏名丁田的地方建了一座橋，就以康樂侯靈運名，叫康樂橋。此橋為康樂縣（今萬載縣）最大的一座石橋，四墩五孔，全長98米，是萬載到宜豐、銅鼓的必經之橋。如今還穩穩當當地橫跨在蜀江之上。另有一條河名為康樂水，在邑東北三十裏，《環宇記》雲：“謝康樂嚐遊此，因名。源出謝山，東流出西江橋、黃田橋、錦江橋、萬歲橋，至丘江會龍河水繞於上高。”
為紀念康樂公謝靈運，該縣在明代前就建有三處康樂祠，其一在縣東的小水雙江橋側；其二在康樂橋左，元至正年間建，由歐陽元書額：康樂祠。其三在該縣東北四裏的杉樹亭，人稱相公廟。清邑副貢何艮曾題《謝康樂廟》五言詩一首：“先生六朝秀，斂跡謝寵祿。發韻寄煙蘿，超興自林麓。鑿險搜洞壑，縋幽窮水陸。逸翰紛雲委，糸尋旨交綺屬。荒祠托岩阿，遺像祀山足。虛忄晃暗塵生，古座蒼苔伏。容範雖代去，徽猷動心曲。視瞻薦萍藻，高風徹流俗。”
為使文事昌盛，激勵後人好好讀書，求取功名，尤其像康樂公謝靈運那樣有文采，清代萬載縣還建有兩座謝靈運讀書堂，其一在縣北四裏，地名叫山峽的地方，台上石硯至今猶存；其二在縣東北二裏，地名叫廠塘的地方，此遺址後改建為公祠。
謝氏族譜現身茭湖
古邑萬載，已有1700多年的建縣曆史。從古至今，曆史文化名人對萬載影響最大的當屬康樂公謝靈運。縣史誌辦副主任胡學正一日在茭湖鄉為招商引資印刷的一本攝影畫冊看到一幅《靈運公傳》的照片，引起了他的注意。經打聽，這些照片均出自縣財政局局長盧仕星之手，盧局長告訴他，《靈運公傳》拍自茭湖鄉謝溪村南源謝家族譜。這一消息引起了胡學正極大的好奇，莫非茭湖謝家與謝靈運有什麼淵源？他問：族譜如今何在？盧說已還，很難索取。無奈，胡先生又委托縣旅遊局局長黃成壽到茭湖之機，請茭湖的易新球鄉長把謝氏族譜借來。幾經曲折，2004年6月的一天，兩冊布滿蟲眼，彌漫著曆史煙塵的《萬載南源謝氏族譜》終於擺上了胡的案頭。所得兩冊族譜為卷二和末卷，均為1912年版。卷二計169頁，是康樂（堂）謝氏分派世係圖，記載了康樂謝氏始祖謝裒之長子謝奕支下繁衍生息的情況。世係圖表明，謝奕為謝靈運之曾祖父，謝靈運是謝氏康樂堂第四世孫。至清光緒三十一年（1905年），康樂堂謝氏已發展綿延至五十世。但這茭湖謝氏是否有“拉郎配”即把曆史同姓名人強拉入家族之疑呢？經細心研讀，謝氏族譜並沒有強拉硬拽的痕跡。如從始祖謝裒往下代代延續，俱有字、號和生歿日期，歸葬地點也記載得相當清楚，一環扣一環，無懈可擊。如謝靈運之祖父謝元（即謝玄），是這樣記載的：“奕公之子元，字明珠，一字幼度，小字羯。東晉建元元年癸卯十月十六日醜生。自少多穎悟，與從兄朗俱為安公所器重。安公常戒約子侄因曰：‘子弟亦何豫人事，而必欲使其佳？’諸人莫有言者。公答曰：‘譬如芝蘭玉樹，正欲其生於庭階耳！’安公悅。興寧元年癸亥征為篆。乙亥詔監北軍，庚辰為冠軍將軍。建勳淝水，封康樂公，贈車騎將軍。寧康十二年丁亥為會稽內史。戊子十三年钅監書康樂公謝元卒，諡獻武。葬烏衣巷屋後鳳形。子二王奐、瓊。”