康熙十五年（1676），又是水災旱災，訛言又起。於成龍認為“人心易搖，且以靜示靜，鎮定民心”。於是在府城漢川門外的赤鼻磯上修建赤壁亭榭，召集文武僚吏，品酒評詩，展賦風雅。黃州士民相與慶曰：“我公如此，吾屬何憂。”民心遂定，由此可見於成龍在黃州之舉足輕重了。
於成龍每日在赤壁亭上賦風雅以鎮民心，同時暗中派出捕役，搜捕造謠者、散布偽劄者，用密計捕捉了吳三桂派往黃州的數名說客。從此之後，盡管湖南戰火彌漫，勢逼湖北，黃州卻偏安一方，這不能不說於成龍治民有方，且才幹卓越。
於成龍在黃州為清朝立下了豐功偉績，然而他並不居功自傲，亦不貪功戀官。康熙十五年（1676），於成龍已六十歲，背井離鄉已一十六年，不帶家眷，亦未回鄉。雖多次上書乞歸，終因深得張朝珍器重，又在多事之秋，用人之際，所以一直未能如願。十月，於成龍養母李氏病故。噩耗傳來，頓時悲號頓足，六十老叟，竟如少年般哭泣。養母故去，對於成龍來說是很好的一個辭官機會，他含淚草成《申蔡製台張撫台乞歸守製詳》（《政書》卷4）：
成龍譾劣庸才，荷恩提拔，感戴終身。茲有下情，泣血上陳。念成龍父兄先逝，上無叔伯，終鮮兄弟，煢煢一身。奉侍慈幃，希冀升鬥，以祿養親。不料任粵住蜀，遠隔天涯；及佐黃郡，又苦卑濕，不敢迎養。身羈一官，心懸白雲，十六年來，烏鳥之私未尚刻忘。康熙十三年，成龍有終養之請，屢詞告休，實為高堂母老，中懷隱憂，不得不為之乞憐也。今忽焉永訣，母北子南，幽明殊隔，訃音馳至，肝腸慘裂，魂魄黯銷，號天搶地，欲見無由，追悔無及。痛成龍母老不能養，母死不能殮！目前柩停中堂，亡靈無依，倚門倚閶，死後望兒，倍切生前。成龍他鄉孤哀，腐心疾首，淚已血凝，形已骨立，惟奔喪營葬，觸棺瓣踴，少釋終天之恨，此成龍痛哭呼號而不得不為之乞憐也。伏乞憲恩垂憐他鄉孤哀，母死無治喪之子，施浩蕩之仁慈，積萬代之陰騭，循例題達，歸家守製。亡母有靈，叩感地下；成龍倘邀，餘生焚香頂祝。即與母偕逝，銜環結草，永矢世世矣。
張朝珍深知於成龍在黃州是舉足輕重的人物，不想放行。恰好黃州數百士民步行到武昌洪山向他哭諫，要求於成龍留守黃州，張朝珍考慮再三，建議於成龍奪情任職。為了遙慰亡母，他身穿素服，登上黃州城南的青雲塔，燒文祭母。黃州青雲塔高七層，呈正八棱形，石灰岩建築，遠望純白無瑕。塔頂斜生一樹，樹幹粗短，葉綠欲滴，蔚為壯觀，實屬奇景。當地有人傳言，於成龍當年在青雲塔上祭母，淚灑塔頂，汪汪閃閃，久旱不枯。後一鳳鳥銜樹子飛經塔頂，驚奇地叫了一聲，樹籽落在塔頂，遂長出這棵奇樹。
於成龍奪情留任，養母不能入葬，靈柩一直停放到康熙二十一年（1682）才得以入土。他節哀克情，顧全大局，實屬可歌可泣。然而，黃州亦有人說他貪戀功名而六親不認，於成龍為此曾做一首五言古詩《自歎》（《政書》卷8）：
病本渾無力，閑愁誰與憐？
炎涼悲二豎，狐域寄丹田。
不願上方劍，但持感應篇。
小官缺養母，浮譽惱群賢。
久欲歸林臥，豈為升鬥牽。
菩提乖慈訓，真覺孽難湔。
廉隅雖尋丈，光明既佛仙。
隱微多玷垢，冥府不矜全。
隻謂堪瞞眾，誰知能哄天。
晨夕朝太嶽，思結再生緣。
輕脫敝衣裘，予將撇俗纏。
秋風吹細雨，霹靂護青蓮。
對於黃州亂民，他不願持上方劍——皇帝賜給他的權力來鎮壓，而是堅持用感應篇——其精誠來感動百姓。雖然身居陋室，但他襟懷坦白，光明磊落。人心好欺，青天難哄，他誓不昧“天理良心”四字。對於一切世俗的浮譽和無聊的譏諷，他像脫去破衣一般輕輕地甩掉。
三諡清端
康熙二十三年（1684）三月，江蘇巡撫餘國柱入為左都禦史，安徽巡撫塗國相升任湖廣總督。康熙不僅指令於成龍兼理江蘇安徽的巡撫事務，而且命令他振作精神，巡視東海防務。於成龍強打精神，扶病出巡。經過一個多月的海上周折，回到江寧署院後，於成龍便瘧疾大作，數日不食，嘔吐不止。
四月十八日晨，於成龍掙紮著爬起準備理事，但已是彌留之際的回光返照。見此情景，一批幕僚齊跪堂下，抽泣不已。於成龍正襟危坐，流著眼淚重複他的《示親民官六戒》：“勤撫恤，慎刑法；絕賄賂，杜私派；嚴征收，崇節儉。”（《政書》卷6）眾幕僚垂淚頷首。
於成龍又叮嚀將自己的屍骨運回故鄉，喪事必須從簡。他還想再叮囑善後之事，但已口僵不能言，端坐而逝，享年六十八歲。
關於於成龍死時的情形，時人多有記載。
陳廷敬的《於清端公傳》記載：“至夜漏四十刻，坐不欹倚，顏色如生……將軍都統僚吏來至寢室，隻見床頭敝筒中唯綈袍一襲，靴帶二條，堂後瓦甕米數鬥，鹽豉數器而已，無不慟哭失聲。”