彭玉麟對官場腐敗深惡痛絕，下決心不與腐敗官員為伍。他任長江水師提督治理水師及兵部尚書的時候，秉公辦事，疾惡如仇，嚴懲惡勢力，甚至不惜得罪清廷高官大紅人曾國藩和李鴻章。曾國荃是曾國藩親弟，彭玉麟發現曾國荃的陸軍部隊綱紀廢弛，還抓住了曾國荃手下的兩名吸鴉片的戰將。曾國藩是彭玉麟的恩師，對他可謂恩重如山，但是彭玉麟卻不顧師生情誼，毅然提筆三次彈劾曾國荃，致使曾國藩大怒，寫信給他責問自己弟弟到底哪裏得罪了他。
有一年，彭玉麟路過安慶，忽然有人攔馬喊冤，狀告當地惡霸李秋升。李秋升是李鴻章的堂侄兒，仗著權傾朝野的李鴻章的勢力橫行鄉裏、奪人妻女，當地老百姓敢怒不敢言。經調查，彭玉麟掌握了足夠證據，把李秋升抓來審訊，李秋升竟然藐視彭玉麟不敢把他怎麼樣而供認不諱。彭玉麟斷然下令：“此人不除，安慶難安寧。”這時，安徽巡撫聞訊，風疾火急地趕來求情，彭玉麟開柵迎接，密令手下速將惡少斬首。巡撫還在字斟句酌，惡少業已命赴黃泉。事後，彭玉麟致書李鴻章，隻是輕描淡寫：“令侄壞公家聲，想亦公所憾也，吾已為公處置訖矣。”李鴻章閱畢對彭玉麟恨之入骨，卻還隻得回信道謝！
彭玉麟任職期間還先後彈劾處置了腐敗無能官吏一百餘人，其中不乏高官。此外，彭玉麟的一個外甥曾任知府，由於貽誤軍機也被他殺了。他的所作所為在當時的民間流傳下一句佳話：“彭公一出，江湖肅然。”安慶候補副將胡開泰召娼殺妻，彭玉麟怒而殺之；湖北總兵銜副將譚祖綸誘奸朋友發妻，還殺人滅口，州、縣官員與他沆瀣一氣，連總督都袒護他，但彭玉麟照樣繩之以法。
彭玉麟以一介書生投身湘軍水師，由於他智勇雙全，在攻打田家鎮、湖口等戰役中屢立戰功，便逐步擢升至水師統領，成為湘軍水師統帥。先後被朝廷授為金華知府、廣東按察使、安徽巡撫、太子少保、漕運總督、水師提督、兵部右侍郎、署兩江總督兼南洋通商大臣、兵部尚書。他視富貴如浮雲，一生中曾六辭高官。所以當時民諺有“彭玉麟拚命辭官，李鴻章拚命做官。”
第一次是辭去安徽巡撫之職。當時是在鹹豐十一年（1861年），彭玉麟官職是安徽布政使銜水師統領。曾國藩任兩江總督，把所屬三個省份的巡撫任給他的三個親信，任彭玉麟為安徽巡撫。他卻一連三次辭謝，其理由是已習於軍營而疏於民政，請朝廷勿棄長用短。朝廷隻好收回成命，改任他為兵部侍郎，依舊留在前線督帶水師，他這才坦然接受。
第二次是在同治四年（1865年）二月，朝廷任命彭玉麟署理漕運總督。漕運總督掌管魯、豫、蘇、皖、浙、贛、湘、鄂八省的漕政，是眾人垂涎的天下第一肥缺，多少人夢寐以求，謀之不得，而彭玉麟視之如草芥，兩次上書謝絕，理由除了不懂漕政外，又加上性情褊急、見識迂愚，不會與各方圓通相處。自稱“臣以寒士來，願以寒士歸也”。對於彭玉麟固請力辭不願為官的行為，清廷很感奇怪，當時官場裏的人也極不理解，甚至有人出麵向清廷建議，以他不受命，近乎矯情而處分他。曾國藩聞訊，出麵為他說情，說：“查彭玉麟自鹹豐三年（1853年）初入臣營，堅與臣約，不願為官，嗣後屢經奏保，無不力辭，每除一官，即具稟固請開缺。鹹豐十一年（1861年），擢任安徽巡撫，三次疏辭，臣亦代為陳情一次，仰邀允準。此次親奉恩旨，署理漕運總督，該待郎聞命悚惶，專折瀝陳。頃來金陵，具述積疾之深，再申開缺之請，臣相處日久，知其勇於大義，淡於浮榮，不願仕宦，份出至誠，未便強為阻止。”清廷看了曾國藩的這篇奏折，才冰釋狐疑，準予彭玉麟之所請。
第三次是在同治七年（1868年）六月，彭玉麟上疏請辭已當了六七年的兵部侍郎。原因是當年從軍時，三年母喪隻守了一年，現在國家安定，他理應解甲歸田，將剩下的兩年補滿。這次朝廷看他情懇意切，便同意了他的請辭。
第四次是彭玉麟離職休養三四年後，朝廷又任命他為署理兵部侍郎兼同治帝大婚慶典宮門彈壓大臣。待到慶典一結束，他立即上疏請辭署理兵部侍郎。朝廷接受後，又交給他一項差使，即每年巡視長江水師一次。
第五次彭玉麟是在光緒七年（1881年）七月，朝廷任命他為署理兩江總督兼南洋通商大臣。兩江轄地廣闊，又兼物產豐茂，南洋通商大臣一缺更是權大責重，一向非名宦宿臣不能任命。朝中重臣曾國藩兄弟、李鴻章、劉坤一等人都曾任過此職。讓六十六歲的彭玉麟出任兩江總督，說明朝廷對他的倚重，但他就是不領這個情，接旨後即上疏請辭，隔日後又再次上辭疏。朝廷無奈，隻得把此要缺交給左宗棠。