於成龍就是要以一己之所向，陶冶一世之民風。江南曆來為奢華糜麗之地，也是國庫賦稅的主要來源之區，交給不貪贓枉法的於成龍，朝廷放心，百姓舒心。從直隸來到了江南，於成龍一如既往，外放不帶家眷，出門不納小妾，為了社稷，為了人民，雷厲風行，敢作敢當。於成龍帶兒子單車赴總督衙署任職的舉動，無疑就是新任總督廉潔奉公的一次亮相。入主衙署以後，上至總督，下至家人親兵，生活中一切從簡從便，於是上行下效，江南士大夫之家減了車馬，婚嫁不用音樂，豪滑之人率家遠避，人人爭衣布褐，官吏望風改操，市民百姓歡欣。於成龍官位高了，不斂財物的情操始終不改，甘享清貧的習慣始終不改，公而忘私的品格始終不改。有江南某按察使準備一餐為其祝壽，於成龍婉言謝絕：“以他物壽我，不如以魚殼壽我（魚殼是當地有名的大盜）”，按察使遂以千金招來名捕，除掉了禍害百姓的盜賊，維護了地方的安全。任過左都禦史的山西籍大學士陳廷敬說過：“上官廉則吏自不敢為貪，上官貪則吏雖欲為廉而不可得。……為督撫者，不以利欲動其心，然後能正身董吏；吏不以曲事上官為心，然後能加意於民。”（《清史列傳》卷9）於成龍就是能夠“正身董吏”、“加意於民”的督撫大員，之所以贏得了民心，贏得了顯赫地位，不靠逢迎，不靠諂媚，不靠送禮，不靠結黨，靠的是一身正氣兩袖清風的高尚情操，靠的是為社稷為人民著想的赤膽忠心，靠的是為百姓為地方辦實事辦好事的能力。
康熙皇帝說過：君明臣直，政治清平，居官應以正風俗為先。而移風易俗不是一朝一夕之事，需要疆臣身體力行，方能去奢返樸，富國強民。把於成龍、張鵬翮、湯斌等廉能之臣，外放兩江總督、江蘇巡撫之任，可以看出君王的取人標準和用心所在。康熙評價江南人戲稱為“於青菜”的廉能之臣說：“於成龍起家外吏，即以廉明著聞。洊陟巡撫，益勵清操。凡在親戚交遊相請托者，概行峻拒。所屬人員並戚友間有饋贈，一介不取。朕甚嘉之。”（《清史列傳》卷8）並回擊那些批評於成龍“因輕信或為屬員欺罔”的朝臣說：居官如於成龍者能有幾人？康熙即位時，滿人入主北京隻有十七八年，內有輔政專權，外有藩王分裂，憂患中成長起來的年輕君主，比順治皇帝更深刻地認識到前朝的腐敗和刻削，怎樣加速了明政權的崩潰，怎樣招致了毀滅它的“流寇之亂”，所以他比較崇尚儉約，注重實務，修明朝政，整飭吏治，獎勵廉能，懲罷貪官。康熙皇帝賞識這位光明磊落、剛直不阿、辦事果斷、一介不取的廉能之臣，稱讚其古今第一廉吏，禦書祠匾“高潔清粹”，標榜為清代文官的楷模，引導世風，勉勵臣僚。康熙在位61年，為清朝百年盛世的出現奠定了基業，與他相隨相伴的文臣武將也一個個名垂史冊。於成龍故去的當年冬天，康熙皇帝南巡至江寧，對漢軍鑲黃旗籍的江寧知府於成龍（時人稱其為小於成龍）說：“爾務效前總督於成龍正直潔清，乃為不負。又諭大學士等曰：朕博采輿評，鹹稱於成龍實天下廉吏第一。”廉吏也好，清官也罷，在封建時代的高官行列中確屬鳳毛麟角。
於成龍是位具有相當政治才能的地方官員。康熙十三年（1674），湖北巡撫張朝珍薦舉於成龍出任武昌知府。適逢吳三桂叛軍屯踞湖南，朝廷用兵嶽州，於成龍奉命在蒲圻修造浮橋接應。浮橋剛剛建成，就被洪水無情衝垮，於成龍被革職處分。此時叛軍到處散布文告，煽動黃安、麻城、黃岡、大冶等地的山寨民人紛紛反叛，情況十分危急。巡撫張朝珍深知黃州人“素服”於成龍，令曾任過黃州同知的於成龍前往平反，將功補過。於成龍先去麻城招撫，再督清兵平定大冶的叛亂，平叛中身先士卒，火燎須眉之際，有人勸其退避，於成龍叱責曰：“今吾死日也。敢言退者，斬。”危難之際，清朝廷授予於成龍黃州知府，黃安、黃岡的局勢隨之穩定下來。此時，於成龍已經58歲，按理說不會再有多少功名前程，然而，於成龍在治亂鬥爭中顯露出超常的政治才幹，還是得到封疆大吏和朝廷要員甚至是君王康熙的認可。任職福建按察使期間，於成龍疾惡如仇，愛民如子，抑豪強，平冤獄，“執法決獄不徇情麵，屢伸冤抑，案牘無停，不濫準一詞，不輕差一役，而刁訟風息，擾害弊除。”（《清史列傳》卷8）康熙十九年，64歲高齡的於成龍出任直隸巡撫，康熙二十年，於成龍官至兩江總督。清代兩江總督為疆臣之首，凡當此任者幾乎都是有赫赫聲名的高官。於成龍在任上舉薦廉能，罷黜貪黷，治事常通宵達旦，在他留任兩江總督的最後歲月裏，自覺“精力衰退”，有“龍鍾之狀”，且又有禦史彈劾“用人不當”，但康熙皇帝對這位一品清官的賞識和器重有增無減，對他的人品和才能深信不疑。