雖姿容既好，為人所津津樂道，但潘嶽的仕途一直不盡如人意：司馬炎結束三國鼎立的局麵，建立西晉後，大封同姓宗室，委以軍政實權。穩定局勢的同時，亦種下了皇室廝殺紛爭的禍根。當時二十二歲的潘嶽時任太尉賈充的屬吏，他作了一篇大力謳歌晉武帝躬耕之事的美文《藉田賦》，因拍馬屁拍得恰到好處，受到司馬炎大加欣賞。
此舉招致了一些朝中大臣的嫉妒，潘嶽不但擁有一副翩翩然公子哥純良無害的外表（神識沈敏，風宇條暢），還具備過人的才學，如今更是得到了皇帝的賞識，怎不讓人嫉妒呢？於是他們從中作梗，致使潘嶽十年沒有升遷。不僅沒有升官，潘嶽三十二歲時還被下放到河陽去做了縣令。這次外放有以下幾個原因：第一，拙劣的政治小動作被人曝光。第二，個性輕躁，趨世利，無意中得罪了很多人。常言道禍不單行，果不其然：潘嶽被下放到河陽做縣令的這一年，他的妻子楊氏就意外病逝了。潘楊平日感情甚好，無奈卻活生生地上演了一場“餘生也晚，無由得見”的悲哀。痛定思痛的潘嶽將思念亡妻的情感，轉化為第三方媒介——文字，這便是其日後享譽天下的名作《悼亡詩》：
皎皎窗中月，照我室南端。
清商應秋至，溽暑隨節闌。
凜凜涼風升，始覺夏衾單。
豈曰無重纊（絲綿），誰與同歲寒。
……
當時潘嶽任職的河陽，南臨黃河，北靠邙山，土壤雖肥沃，但老百姓一直難逃窮命。有古籍載之：“五穀宜其地，六畜宜其家，瓜瓠葷菜，百果俱備，此乃縣之福矣。”有此方法，再結合半丘陵地區十年九旱的特點，潘嶽開始號召百姓廣種桃李，綠化荒山。為把這一施政方針深入貫徹下去，他決定想點兒法子搞搞宣傳，於是找來幾個官衙的工作人員，描眉濃妝，穿上錦袍青冠，站在門口咿咿呀呀地唱起了地方戲。不一會兒，台下便人滿為患了，這時，潘嶽便命人適時地拿著上書“廣種桃李”的風箏去台下放起來（以此達到宣傳的目的）。
潘嶽在治理山水之際，還引領百姓在田間地頭、農家小院、道路兩旁等地方，栽種上果樹和花卉。每逢春至，河陽縣境內綠滿山川，孩童們多了玩樂的場所。每逢秋至，果蔬飄香，老百姓獲得了不少收益，因此，他們對待潘嶽就如看待親人一樣，常常戲稱他為帶領大家脫貧致富奔小康的“花縣令”。金獎、銀獎不如老百姓的誇獎，金杯、銀杯不如老百姓的口碑。老百姓的嘴巴是最好的傳播工具，口口相傳，潘嶽的個人品牌就這樣打出去了。
當然，能讓大家脫貧，還隻是潘嶽工作的第一步，他還要引導當地的精神文化建設。然而，山水治理起來倒還方便，但整治民風是教化人心，比之治理環境則更為困難。
首先潘嶽在自己的花園裏栽上一行行桃李（何彼穠矣，華如桃李），又在園內挖了一口澆花用的水井。除此之外，為處理民間鬥毆吵架的官司，他還專門做了十幾個尖底實木大水桶放在大堂之上。有一次鄰裏兩家因一點兒雞毛蒜皮的小事大打出手，鬧上公堂。潘嶽先給原告一隻尖底水桶，給被告一根扁擔、一條井繩，讓兩人去花園澆花。起初兩人各懷鬼胎，極不配合。但衙役在一旁監督著，他們也隻得互相協作。兩個人一人穿杠，一人汲水，統一上肩，一起行動。
勞累半天後，他們終於把花澆完了，但同時也沒了火氣（亦可說無力生氣），他倆互相看看，皆一臉愧色。再回到大堂之上，潘嶽問：官司還打嗎？二人皆低下腦袋，說不打了。潘嶽看他們都沒了火氣，便開始公平合理劃分責任，公正裁決。以後，凡是遇上這種案子，這種處理方法都屢試不爽。沒過多久，河陽民風大治。後來，河陽百姓為不忘花縣令恩德，便把潘嶽花園旁的一個小村改名為“花園頭”，把花園裏那口“澆花井”改稱作“潘嶽井”（古人視名為重，可見潘嶽在民間極受愛戴）。