他為官辦事認真，判案公正，平反不少冤案，政聲頗著。所到之處，吏畏民懷，被譽為“嘉道間循吏之冠），後破格晉升廣州知府。道光七年（1827年），辭官返裏。道光十年（1830年）農曆八月十五日病逝於貴陽洪邊北衙家中。
高廷瑤辭官歸裏後，做了兩件很有意義的事情。一是召集族人，籌備經費，選擇校址，在村子裏修建了“北衙書房”（共五間），創辦地方。四兩，，先生等經費支出。二是通過回顧自己在外地為官二十餘年的親身經曆，撰寫了《宦遊紀略》一書，教育、啟迪後人如何為官，怎樣做人、做事，為後人一貴的。
《宦遊紀略》是高廷瑤先生所著的一部紀實散文集，全書分上、下兩卷，約四萬字。原著無標點符號，多為繁體字和異體字。其內容主要記述了高廷瑤先生從嘉慶五年（1800年）至道光七年（1827年），前後共二十七年間所親身經曆的宦海生涯。書中對各類民事、刑事訴訟案件的調查、取證、審理、判決的記述十分詳細，為後人研究清代的司法狀況提供了寶貴的曆史資料。尤其是高廷瑤先生作為一位地方官吏，在辦理每一宗案件中，那身先士卒，一絲不苟，嚴謹求實，廉潔高效的精神和態度，更是讓後人推崇和景仰。
《宦遊紀略》中記載：嘉慶十年（1805年），高廷瑤代理六安州州牧，在十個月的任期內，共審理辦結各類案件1360餘宗。在他離任後即將離開六安，暫住聶氏花園期間，當地鄉紳、士民一百餘人前來為他餞行。宴席之間，他舉起酒杯，先是向在座的諸位表示衷心感謝，然後誠懇地請求大家利也在六安期間所辦理案件存在的失誤提出批評和意見。大家都說，沒有發現判決失誤的案件。他說：“古人說，聖者千慮，都難免沒有一件不失誤的事情，何況我斷了這一千三百六十餘宗案子，怎麼會沒有一件失誤的呢””一位老貢生說：“我家就住在離官府不遠的地方，左右有兩家茶坊。官府裏每次斷案結果一出來，茶坊裏的人們都要議論，我說聽到的議論，都說先生斷案公正神明，即使是那些官司敗訴了的，也沒有怨言，甚至有人為自己的行為感到後悔的，所以，知道官府沒有錯斷案件。”接著，高廷瑤列舉了兩宗判斷曾經出現過失誤的案例：一宗是閻氏訴徐氏侵占墓地案一宗是湯生訴某生逼其祖墓開山塘案。老貢生說，先生所說的這兩宗案子我們都知道了。起初，先生的判斷確實有誤，可是，後來先生通過實地調查取證，都給予了糾正。最後高廷瑤對為他餞行的鄉紳士民們說：“大凡官之辦事，誰能無過，然決不可諱過。如有誤，即為更正，自不致別生枝節。倘飾過文非，使人民含冤終身莫白，自問此心何以安乎？”作為一位身處封建社會的地方官吏，能有如此的見解和胸襟，實在是。
《宦遊紀略》中，不僅記述了不少的典型案例，其中，“仇誣盜首案”、“範壽子被害案”還被選編人《中國曆代奇案精選》（文化藝術出版社1989年1月公開出版）。“範壽子被害案”還人編《折獄龜鑒補》一書，標題為《高太守推理析疑》。而且對於如何為官與做人、做事，均有精辟獨到的論述。
錢培山巡撫問高廷瑤先生：“當官怎樣才能叫愛百姓？”他回答說：“當官，不但要有一顆愛民之心，而且還要有愛民的才能。沒有愛民的真心實意，整天隻是在百姓麵前花言巧語，小恩小惠，討好賣乖，這不過是沽名釣譽，是假愛民，這樣對百姓沒有什麼好處。但真有愛民之；，而才能欠缺，意誌不堅強，不能做有益於百姓的事，也枉自有愛民之心罷了。所以，真愛百姓的人，就應該真心實意地愛民，並為民辦實事，缺一不可。”巡撫說：“你這麼做了，所以，才能講清楚這樣的道理。道理確實是這樣，但做起來就困難了。”
高先生辭官歸裏，賦閑居北衙家中，常有人上門向他請教為官之道。他對前來詢問請教的人說：“當官最重要的，莫過於謹言慎行，舉止切忌浮躁，說話切忌誇張”上級及朋友有事互相商量，不可泄露機密“泄露機密關係到事情的成敗”同事中，如有聲名卓越，德才優秀，政績突出的，則要虛心向他們學習；如有懶惰浪蕩的，則要引以為戒“不可隨便說別人的短處，不然，對方將會一輩子恨你，仇就結深了”更不能揭露別人的隱私，如果對方知道了，更會造成嚴重的後患。”他說：“當官，對自己要做到清、慎、勤三個字，這三個字中，最重要的是‘勤’字。不勤，怎麼能做到‘清’？不勤，又怎麼能夠做到‘慎’？當官為民辦事的人，難道可以深居簡出，不以每天接觸百姓為急務嗎？”；對下屬的管理，他提出了三要：一是號令要明確，二是賞罰要兌現，三是檢查要周到。