韓愈因上疏論天旱人饑，觸怒權奸李實，被貶為陽山令。此事牽連好友張署，被貶為臨武令。陽山屬於連州（今屬廣東省），臨武屬於郴州（今屬湖南省）。二州相連，唐時均屬江南西道，而兩縣相距則不足二百裏。
由於朝廷逼迫，二人匆忙登程。在一個嚴寒的冬日，二人出長安東門，經藍田縣入商山，開始了漫長而艱難的貶途跋涉。
這一路，二人備嚐艱辛：由藍田入商山，山高路險，大雪彌漫。“褰衣步推馬，顛蹶退且複。”嚴冬苦寒，舉步維艱。“歲弊寒凶，雪虐風饕，顛於馬下，我泗君號。”（《祭河南張員外文》）這兩位讀書做官的人哪受過這份罪？過洞庭，渡湘水，風濤連天；登九疑，過五嶺，鳥獸吟嚎，這二位又何曾經曆過如此驚嚇？經過四個月的奔波，九死一生，到達陽山。
韓愈幼年時曾隨兄嫂在韶州（今廣東省韶關市）生活過一段時間。但這陽山比韶州還要靠南，地方也更加荒僻。據韓愈在《送區冊序》中描寫：“陽山，天下之窮處也，陸有丘陵之險，虎豹之虞，江流悍急”，顯然是窮山惡水之地；“縣郭無居民，官無丞、尉，夾江荒茅篁竹之間，小吏十餘家，皆鳥言夷麵。始至，言語不通，畫地為字，然後可告以租賦，奉期約。”縣城不像縣城，官吏不像官吏。別處都是縣令之下有縣丞、縣尉，而在這裏卻是韓愈集令、丞、尉職責於一身；由於語言不通，隻能“畫地為字”進行交流，向官吏們傳達“收租賦，奉期約”的任務。這個漢武帝時才建立的小縣之荒蠻落後，於此可見一斑。同時，生活環境也相當惡劣：“下床畏蛇食畏藥，海氣濕蟄熏腥臊”。（《八月十五夜贈張功曹》）“江氛嶺祲（jìn，妖氣）昏若凝，一蛇兩頭未見曾。怪鳥鳴喚令人憎，蠱蟲群飛夜撲燈。”（《永貞行》）異鳥怪獸，瘴煙毒氣，使其衣食住行頗不適應。貞元二十年冬，韓愈和張署曾於兩縣鄰界處又一次約見，“一夕相語”。韓愈後來回憶當時的情景：“枕臂倚眠，加餘以股。仆來言告，虎入廄處。無敢驚逐，以我（méng，驢子）去。”兩位縣太爺夜間枕臂相依而眠，顯然不是什麼高級賓館；半夜老虎入廄，竟然把韓愈所騎的驢叼走了。縣太爺沒有騎馬坐轎，隻能騎驢，而驢又被老虎吃掉，顯然不是貪官，而作為縣太爺，物質條件的匱乏，生活環境之狼狽，自然不難想象。
韓愈蒙冤至此，此地又如此荒蠻落後，使他的心情很不好。但日子一久，情緒慢慢平靜下來。陽山宜人的山水風景，頗使喜歡山水的韓愈愉悅，而新交的眾多朋友，也使他逐漸遠離了孤獨寂寞。他在《縣齋讀書》一詩中對其生活有具體描述：“出宰山水縣，讀書鬆桂林。蕭條捐末事，邂逅得初心。哀狖醒俗耳，清泉潔塵襟。詩成有共賦，酒熟無孤斟。”在這佳山麗水之中，讀書，垂釣，遊山戲水，與朋友飲酒賦詩，又少俗務打擾，日子過得倒也瀟灑。當然，有個問題需要說明一下：這裏既然貧窮落後，未經開化，韓愈何來的詩酒之樂？原來韓愈是個很會生活的人，是一個感情世界非常豐富的人，也是一個很有凝聚力的人。一方麵他自己能夠充分利用大自然的恩賜，獨享山水之樂，讀書、著文排遣苦悶；另一方麵，憑他的文名和人格魅力，很快在他的身邊聚合了一幫新朋友：南海（今廣州市一帶）青年區冊，聽說韓愈被貶陽山，第一個乘舟來向韓愈求教，韓愈以禮待之，二人相處甚好；郴州青年區弘，到陽山得韓愈教誨後，一直矢誌不移地追隨韓愈；篤誌於學問文章的青年竇存亮，聽說韓愈抵達陽山，“乃乘不測之舟，入無人之地”，來到韓愈身邊；任俠豪放的青年劉師命，聽說韓愈被貶陽山，也來投奔，除此之外，連州、郴州就近慕名而來的更不在少數；同時一些佛徒如惠師、靈師等，亦與韓愈往還。
韓愈從貞元二十年（804）四月上任，到貞元二十一年夏秋之間離任，在陽山縣令任上不過一年多的時間，但卻深得陽山百姓的愛戴。韓愈在陽山的具體政績，史籍沒有記載，韓愈自己也沒有炫耀過，但我們從陽山百姓對韓愈的態度和評價上，可以看出韓愈在陽山並未因這裏落後而不作為。
韓愈在這裏廣交朋友，對年輕學子因材施教，使他們受益匪淺。據《陽山縣誌》記載，在陽山縣城北而裏處，有座“賢令山”，亦稱“牧民山”，此山的命名竟然是因韓愈當年曾讀書於此的緣故。一座無名小山，因有韓愈的讀書台而得名，足見陽山百姓對韓愈的愛戴。我們也就不難推知：關心教育，興辦學校，肯定是韓愈在陽山的主要惠政之一。
另據《新唐書·韓愈傳》載，“貶陽山令，有愛在民。民生子，多以其姓字之。”這更是對韓愈在陽山政績的無評之評。雖沒有說韓愈具體有何德政，百姓具體如何褒揚，但僅憑百姓用韓愈的姓給孩子取名這一點，我們即可推知韓愈是一位恪盡職守，勤於官務，關心百姓疾苦，深得民心的地方官。在任時間不長，能享受百姓如此厚愛和尊敬的地方官員，古往今來，能有幾人？
韓愈在陽山，為官一任，遺惠一方。評價自在百姓心中，而英名永傳後世。