高廷瑤又說：“一般來說，大凡當官辦事，不可能不出差錯，但不能知錯不改。女有差錯，及時改正，自然就不會節外生枝了。倘若，，生，的人，理得嗎？”在座的人都認為他說得很對。
高廷瑤在安徽做官二十多年，在六安才十個月，但能得以盡心為事。
後來，他又在司法部門幹了十二年，所審理的案子，往往案情支離破碎，再加上訴訟師無端羅織罪名，奸偽百出，盡失其實是真相。雖然不少案件，多數都被平反昭雪，但他心裏還常常擔心有不實之處。
高廷瑤認為，大抵州、縣判案，都是依據原始供詞，細心研究，察言觀色，乘虛追問，不難真情畢露。假如辦案機關的那些人舞文弄墨，添油加醋，變幻離奇，就不識廬山真麵目了。何況知府以上，都是根據州縣上報的材料斷案，不如州、縣遇事權衡，操縱在己，較為順手。這樣看來，州、縣上報的原始材料實在是太重要了！
（28）拒賄二三事
高廷瑤認為，當官理財，當然不能沒有支出收人的賬冊。建立賬冊，是為了便於核查，以免遺忘。
他說，有一些當官的人，不重視建立官府收人支出的賬冊，隻是將私人往來饋送的事，詳細地記錄下來“雖說這是為了有來有往，還人恩澤，但一旦出事，便留下把柄，實在不值得。
嘉慶九年（1804年）春，鳳陽府泗州縣需要白銀四十萬兩放賑。阿雨昌巡撫對福布政使說：“去年，高別駕辦宿州撫恤，辦得很好。此次鳳陽泗州十州縣賑濟工作，就委派他為總督辦。”
他奉命護送賑災銀兩到鳳陽後，張堯山知府為他安排住處。他說：“不必麻煩，就在知府衙門裏借一間房住宿就行了，不煩你們安排夥食，這不比在外住館舍省錢嗎？”
於是，他便在知府衙門裏住宿。賑濟事情辦完以後，十州縣的衙門各以一千兩銀子贈送他，他堅持拒絕接受。臨行時，在候補州判魯世廷那裏借了二十四兩銀子做路費，回到省城後，如數歸還給他。
當時人們譏笑他太傻了，過於迂腐固執。後來，下江山陽縣侵占賑災款項的案件被告發，知府、縣令都被殺頭，凡是參與賑濟工作而收受饋贈的官員，都被抄家治罪。那些笑他固執的人，才覺得他固辭饋是有的。
又有一事。高廷瑤督促發放鳳台縣賑災事務時，事情辦完即將離開時，一位縣令饋贈他白銀二百兩，被他拒絕了。
等到該縣令去世時，發現他虧空公款白銀四千餘兩，巡撫命高廷瑤協同懷寧縣令查辦此案。這位縣令的家屬呈上一本賬簿，凡從前饋送別人的銀兩，都詳細地記錄在上麵，一個不漏，但唯獨沒有高廷瑤的名字。
再有一事。石埭縣某縣令因辦理賑濟事宜不善，應當受到撤職查辦。他當時知道高廷瑤主辦此案，晚上，縣令派人暗送二百兩銀子來斡旋，他竭力推卸。他代理池州知府時，這位縣令求見，他拿出一本賬冊對高廷瑤說：“我沒有盤纏回鄉，這冊子上記錄的，都是過去曾經接受過我饋贈的人們的姓名，請你代我轉告他們，叫他們給我湊點路費吧。”
高廷瑤笑著說：“你過去不是以二百兩銀子來求我斡旋嗎？當時，如果我收了你的銀子，那也許不免勞你把我記下來了。”
這位縣令說：“接受過我饋送的人我才記下，你沒有接受，我也不敢亂寫。”高廷瑤說：“凡接受了饋送的人，也是領你的情，何必要討還呢？我不會做這樣的事的。”便將簿子還給了那位縣令。
（29）有才有識，堪勝大用
嘉慶十三年（1808年），安徽推薦、選拔人才。鐵冶亭總督送信給董觀橋巡撫，詢問推薦的人。董觀橋巡撫回信說：“選拔推薦，就要選拔卓越的人。卓越，一定是才識超群，氣量宏大，將來能任封疆守土之職。我們這裏正在選拔，但安徽的知府、同知、縣令，在職的都沒有什麼卓越的。如說卓越，大概隻有高別駕一人而已。”
於是，以“有才有識，堪勝大用”八個字評語推薦了高廷瑤先生。上級來人考察，將這八個字寫入他們的考察材料裏上報。總督又來信說，必得七人才合乎要求。於是，巡撫就以太平府通判鄒駿、石埭縣令白守廉，以及校官二人、縣尉二人補足其數。
人們議論說，這種推舉方式太苛刻太死板了。