宋文帝元嘉三年（426年），傅亮、徐羨之等人被誅，顏延之重新受到賞識重用，但是狂放疏誕的性格使得顏延之不為當世所容。他看到朝中劉湛、殷景仁專當要任，意有不平，常言“天下事豈一人之智所能獨了”。後來他又到劉湛父親手下為官，見到劉湛時說：“吾名器不升，當由作卿家吏耳。”意在諷刺劉湛父子。肆意直言、辭意激揚的顏延之因此被貶為永嘉太守。顏延之憤憤不平，寫下了著名的《五君詠》，這樣便更加惹惱了權臣，被黜官七年。
顏延之狂放傲誕，但在朝中也有些好友。深受宋文帝劉義隆重用的何尚之就是一個。二人自幼交好，且均矮小醜陋，體又不直。何尚之戲稱顏延之為“猿”，顏延之戲稱何尚之為“猴”。一次，二人同遊西池，顏延之問路人：“吾二人誰為猴？”路人指向何尚之，顏延之高興得笑了起來，這時路人又說：“彼似猴耳，君乃真猴。”率情的顏延之再也笑不起來了。宋文帝曾經問起過顏延之：“你的幾個兒子才能如何？”顏延之答道：“竣得臣筆，測得臣文，奠得臣義，躍得臣酒。”何尚之戲之說：“誰得卿狂？”顏延之說：“其狂不可及。”顏延之與何尚之關係雖然不錯，但顏延之對喜好阿諛的何尚之的兒子何偃也不放過。何偃曾稱顏延之為“顏公”，顏延之訓斥道：“身非三公之公，又非田舍之公，又非君家阿公，何以見呼為公？”其倨傲率性常如此。
顏延之一生好酒，常獨飲郊野，旁若無人，如遇舊友，更是一醉方休。前朝晉恭思皇後去世，邑吏送信請他參加葬禮。時值顏延之酩酊大醉，投信於地說：“顏延之未能事生，焉能事死。”即便是宋文帝召見，他也是醉醒乃見。一天，顏延之醉訪何尚之，何尚之假裝睡去。顏延之熟視良久說：“朽木難雕。”待他離去，何尚之對左右人說：“此人醉甚可畏。”
顏延之年少家貧，一生儉約。他的長子顏竣在孝武帝劉駿時權傾朝野，但顏延之從不借兒子的權勢奢侈無度，並拒絕兒子的資供。他常乘牛車行於路上，一旦碰上氣勢煊赫的顏竣，便回避路旁，並說：“平生不喜見要人，今不幸見汝。”他不慕豪勢，更鄙視鑽營仕宦的小人。有人曾謀求吏部郎的官職，何尚之感歎說：“此敗風俗也。官當圖人，人安得圖官。”顏延之大笑說：“我聞古者官人以才，今官人以勢，彼勢之所求。子何疑焉？”嬉笑之間表現了他對腐敗社會現實的不滿。
顏延之與謝靈運在當時均以文章辭采馳名。據說，宋文帝讓二人各做樂府詩一首，題為《北上篇》。謝靈運很久才完，顏延之頃刻便成，文思奇速，才華極高。
關於他和謝靈運的創作，顏延之曾請鮑照點評優劣。鮑照說：“謝五言如初發芙蓉，自然可愛。君詩若鋪錦列繡，亦雕繢滿眼。”自然之美的呈現、人工之美的展示正是二人的風格所在。顏延之因鮑照的評價終生遺憾不已。
顏延之的詩歌創作確實缺少謝靈運的自然英旨，錯彩鏤金、精雕細刻的形式美的追求使得他的詩缺少真實的內蘊。《應詔觀北湖田收》中有這樣的詩句：
……桃觀眺豐穎，金架映鬆山。飛奔互流綴，緹彀代回環。神行埒浮景，爭光溢中天。開冬眷徂物，殘翠盈化先。陽陸團精氣，陰穀曳寒煙。攢素既森藹，積翠亦蔥仟……多數詩篇中都充滿了這樣流光溢彩、絢麗華美、巧製精工的詩句。
雖然顏延之的詩從總體上看缺少“自然英旨”，但是顯示他剛勁不阿性格的《五君詠》卻非謝靈運的山水詩所能及。《五君詠》借述“竹林七賢”（除出仕的山濤、王戎）之事，抒發心中的積憤。詩中形象刻畫鮮明，性格把握準確，於華美繁密中盡顯慷慨激昂之氣，以“五君”之形，顯己之誌。沈約《宋書·顏延之》中稱：“詠嵇康曰：鸞翮有時铩，龍性誰能馴？詠阮籍曰：物故不可論，途窮能無慟？詠阮鹹曰：屢鑒不入官，一麾乃出守。詠劉伶曰：韜精日沉飲，誰知非荒宴？此四句蓋自序也。”如沈約所言，這幾句詩確實也是他一生情性的最好寫照。
由於顏延之的創作更符合當時人們的審美情趣，所以人們稱他為“元嘉文豪”。顏延之原有文集，後散佚。明張溥《漢魏六朝百三名家集》收有《顏光祿集》。
山水詩派第一人
晉宋文人雅愛山水，怡情吟詠，風氣蔚然。《世說新語·賞譽》中記載，玄言詩人孫綽與庾琮等人共遊山水。孫綽嘲諷衛永說：“此子神情都不關山水，而能作文？”在孫綽看來，要作山水之文，首先神思情致都要融於山水之中。謝靈運“如初發芙蓉，自然可愛”的山水名篇，正是他一生縱情山水的自然結果。
東晉末年，由於物質與文化多方麵因素的綜合作用，嫵媚的青山、綺麗的碧水在文人的心靈中生氣灌注，對自然之美的追求成為時尚。《世說新語·言語》中描述了晉簡文帝司馬昱對山水及自然之物的感受：“簡文入華林園，顧謂左右曰：‘會心處不必在遠，翳然林水，便自有濠、濮間想也。覺鳥獸禽魚，自來親人。’”在這裏，自然萬物與人的關係不再是無關或對立的存在，而是一種物我合一的天然親合，是人向自然的一種回歸。“康僧淵……立精舍，旁連嶺帶長川，芳林列於軒庭，清流激於堂宇……處之怡然，亦有以自得。”東晉畫家顧愷之從會稽回來，有人問他，山水之美在何處？顧愷之回答：“千岩競秀，萬壑爭流，草木朦朧其上，若雲興霞蔚。”山川草木，流水雲霞，這壯麗畫卷實在令人流連忘返。
在這樣一種時代風氣的熏染下，華麗家族——謝氏，對山水的鍾愛，自然也不能甘於人後。東晉中宗年間，謝安的伯父謝鯤就曾對同僚們講：“端委廟堂，使百僚準則，鯤不如亮（庾亮）；一丘一壑，自謂過之。”所以當有人問畫家顧愷之，為什麼要把謝鯤畫在奇石秀岩之中時，顧愷之答道：“謝雲：‘一丘一壑，自謂過之。’此子宜置丘壑中。”謝靈運的曾叔祖謝安，不僅本人縱情山水，而且還在秀山麗水間營造別墅，並經常攜帶族中子弟優遊享樂。他的妻子劉氏曾嘲諷他說：“大丈夫怎當如此？”後來，即使謝安官拜宰相，也沒有打消寄身山水的情懷。
在這種社會風氣和家族風氣中成長起來的謝靈運本能地對自然山水心馳神往，情有獨鍾。謝靈運的祖父謝玄在山明水秀的會稽始寧（今浙江上虞）經營宏麗優美的莊園。酈道元在《水經注·浙江水注》中記載：此莊園“右濱長江，左傍連山，平陵修道，澄湖遠鏡”。由於謝靈運父親早亡，襲封康樂公後，這一切就非他莫屬了。門閥大族的社會地位，給謝靈運縱情山水提供了雄厚的物質保障。
謝靈運不僅在物質上擁有富足的財產、美麗的莊園；在生活上錦衣麗服，豪華奢侈；更重要的是精神上有清尚出塵、俊灑秀逸的貴族氣質。他篤好佛理，精通梵音，詩歌文賦無所不能，談玄論理更勝一籌。因此，他自稱：天下才共一石，曹子建獨得八鬥，我得一鬥，自古及今其他人共用一鬥。可見他不僅是一個門閥貴族，更是一個精神貴族。
劉宋政權建立，謝靈運在政治上受到徐羨之、傅亮等人的排擠，被外放為永嘉太守。此時的謝靈運，既想不營世務，又不甘心失落；既少實際才幹，又不願屈居人下。在這種矛盾的心境中，青山綠水就更成了他的人生知音。永嘉（今浙江溫州一帶）地處浙江東部沿海，以風景清幽著稱。謝靈運出京後，先回會稽始寧祖宅，然後沿富春江溯流而上，至金華舍舟登岸，至麗水又揚帆東下，直抵永嘉。《昭明文選·行旅》中選錄的《永初三年七月十六日之郡初發都》、《過始寧墅》、《富春渚》、《七裏瀨》等，可確定他的行程路線。夏日受任，秋季登程，一路上無限風光，盡收眼底，“秋岸澄夕陰，火曼團朝露”（《初發都》）；“岩峭嶺稠疊，洲縈渚連綿。白雲抱幽石，綠筱媚清漣”（《過始寧墅》）。賞心悅目的山水並沒有消除他心中的抑鬱之情，但他自認為已無路可走，所以隻能在山水之間尋找心靈的慰藉。於是在永嘉任上，青雲失路的謝靈運更加隨心所欲地出外遊玩，陶醉其中，百姓的訴訟、官府的政務全部拋在了腦後。在永嘉任上隻一年，謝靈運便托病辭官，族中兄弟書信相勸，也無濟於事。
謝靈運回到老家始寧，除繼續遊玩山水外，又開始修建祖父留下的莊園。優美的山水、華麗的莊園使謝靈運對山水之美的觀察感受更為精細，丹筆描繪更見精美，這在《山居賦》中有充分的體現：