針對布政使提出的問題，高廷瑤回答說““調有餘而添不足，確實是一視同仁的好主意。但這件事有三個不便和一個值得深思的問題。為什麼呢？知府、縣令們選補一官，不知花了多少錢糧，也真不容易。幸好他們的收人較多，除正常開支外還有所盈餘，也屬於他們本人運氣好。若考慮其它州、縣出現虧空拿去彌補，他們便會認為是自己的分內之財，無故被別人奪走，一定不會心甘情願聽命辦事。這是第一個不便。目使是貧困一些的州、縣，如果能量人為出，節儉辦事，也不至於侵蝕公款。若有了籌備這一款項，麼，一些腐敗的官員就會有恃而無恐，任意耗費。甚至收繳此項籌備款項的官員，也將故作虧欠，加倍取償於籌備款。一人這樣做，人人都效法。這樣一來，補償嘛，補不勝補，責罰嘛，被責罰的人則說，我們曾經也辛卜濟過別人，別人難道就不該補濟我們嗎？這就叫開門請強盜，梳理成束的絲線，反而又變成了攪亂的絲線啊！這是第二個不便。稅收比較富裕的州縣，他們的上繳也必然較多。假若無力上繳籌備，但又不能不逢迎上級的旨意，勢必要動用國庫的錢糧以繳納籌備。本意是想舔點糠粉，反而連白米也被吃了，侵害了國家的正當儲備。這是第三個不便。治理國家的要務，是先要正名。現在要責納籌備，必然郡府將下令給州縣，州縣又將文書上報給郡府，這些文書都將存人檔案。假使某一天追查此事，違背國家現行法規，這就容易給人實，狡詐的官員還會以此要挾。這已不是正常的行政方式。何況以此私取之名，記錄在案，你布政使將來離職或升遷，後來接任的人或有不同看法，不體諒你的用意，以濫收亂派的罪名上報，朝廷追究下來怎麼辦？從前，廣西庫存白銀十萬兩，未經奏明，繼任者彈劾原任，原任各官都被降級處分。值得顧慮的，就是這種情況啊！”
布政使不聽他的勸告。他去肇慶上任，這件事就擱下來了。後來，他任廣州知府。上任時，潮州、瓊崖二郡及廣州前任知府已將籌備作成定議，肇慶接任他的人也形成定議。凡是首郡所屬的州、縣，每年派納白銀二萬兩，其它州、縣情況是：有的多，有的少，有的免收。
高廷瑤既然當了首郡（廣州）的長官，責任在身，想到這種做法不當，又在布政使麵前委婉勸他停止責收籌備。布政使不聽，繼而聲色俱厲，不容他再說。
有一天，高廷瑤和布政使談到此事，高廷瑤說：“我不是不想服從大人的命令，怕的是將來對大人有後患，我又背上阿諛上級強征暴斂的罪名。所以，不敢不再次勸阻。大人如一定要實行自己的主張，又有什麼辦不到的？又何必將責任推給知府呢？”於是，布政使大發雷
第二天，兩位縣令認為高知府的話過於直率，觸怒了上司，應當去向布政使賠禮道歉。他笑著說：“我們做下級的，對上級要敬重誠實，事可行，就遵照執行，事不可行，就要勸阻上司不要實行。如果不論事情輕重大小，一味地阿諛討好上司，隻考慮眼前而不顧後患，朝廷設官，是要上下互相維持，何必要這樣逢迎獻媚的下屬呢？我確實固執，但不知有什麼理由值得賠禮道歉！”縣令走後，我將當天草擬籌備不可行的種種理由，呈送布政使，請求取消這一政令。
縣令走後，高知府將當天草擬收取籌備不可行的種種理由，呈送布政使，請求取消這一政令。
第三天，他見到布政使，布政使說：“你昨天送來的報告，真如晴天霹靂，叫人棘手！你也應該想想，這樣做了，對方很難堪啊！”高知府回答說：“我們爭論的是公事，又不是揭露他人的隱私，怎麼能說使人棘手呢？自己的一點想法，知無不言，也是言所當言，更不能稱之為日青天霹靂。”
布政使沒等他把話說完，就從座位上躍起，大聲疾呼，揮手示意，拍著他的肩膀說：“我的確不配作布政使，先生年高德望，曆官三省，響當當的，當然比我強十倍！”
在座的各位官員看見這種情景，臉色都被布政使的這一舉動嚇青了。高知府卻笑著說：“大人何必這樣呢？我隻不過是一介書生，不好意思，當了知府，有幸來到廣州為你效勞，凡事小心謹慎，不敢貽誤公事。如果辦事有缺漏，大人責罰就是了。不然，彈劾也行。若不論是非，不問曲直，固執己見，抱怨下屬不能體諒自己的心思，在大庭廣眾之下怒目切齒，似乎有失體統”再說，我和大人都是讀書人，有人認為我不可結怨於長官，那我又何必留念於一個知府之職呢？我請求辭職，我才不怕呢！”在座的各位官員，無不惶恐。他當時就很不高興地告辭了。