他尤其不顧情麵，辭退了名將黃翌升；他勇於負責，有功不貪。經常輕舟小艇，往來倏忽，不獨將佐視之如神，即地方官也望風震懾，民間不軌之徒及作奸犯科者輒互相驚嚇曰：“彭宮保來了！”立即奔逃不敢出，威聲震動數千裏。朝廷對他委任更重，凡有大事均交給他處置。如兩江總督左宗棠、劉坤一，兩廣總督張樹聲，皆朝廷倚重大臣，經言官動奏，皆命彭玉麟察核。
彭玉麟剛介絕俗，頗有豪氣，尤善飲，經常咯血而酒不廢。中年黜妻屏子，沒有姬妾，隻有一、二個老兵供事其旁。對待部下舊將如同布衣子弟，紀律極嚴。他的弟弟久客州縣，服食鴉片成癮。正巧軍中嚴禁食煙，旁人將此事稟報給他知道，彭玉麟大怒，立杖四十，並斥曰：“不斷煙則死不相見。”他弟弟感愧自恨，臥床三日已瀕死，竟絕不再服；這樣，才複為兄弟如初，以舊習商業，令行鹽，致資巨萬，一無所取。其弟亦豪邁揮霍，恤貧篤義。家人流落江淮的，全部收養，歲散萬金。
彭玉麟尤惡浮華，厭絕請送之類官場舊習。治軍廣東時，民眾恐餉糧不繼，共募銀17萬送至軍中，彭拒而不受。辭官之日，眾以金排萬人姓名於二傘上，價值萬金，彭諭令各歸還其主，且戒其奢。斷案嚴肅，恒得法外意，所殺必可以正民俗。安慶候補副將胡開泰，召妓女飲酒作樂，而使妻行酒，其妻不從，遂抽刀剌其腹。街巷洶洶，事情鬧到院司，正聚議何以處置，彭趕至後，說：“此易耳。”遣人召來，但詢名姓居址，即令牽出斬之，民眾大歡。忠義營營官、總兵銜副將譚祖綸誘奸其友張清勝妾，張清勝知悉後，秘密留居密室，出偽券與償債，譚逃走，升營將。州縣官因為在譚祖綸管轄地方置之不問，因訴於彭玉麟。彭玉麟無離黃州漢陽道路籍，欲治之無端，得清勝詞，為移總督，先奏效譚祖綸，且道清勝赴武昌對質。朝廷下詔，令彭玉麟與總督即訊，譚祖綸令人將張清勝從輪船上擠下溺死，又行賄張妻、父母及妾劉氏反其獄。忠義營統將方貴重用事，總督言誘奸無死罪，謀殺無據。彭玉麟知譚祖綸根基盤固，不可憲法。適總督監臨鄉鬧，立即至武昌，檄府司捉祖綸至行轅，親訊，忠義營軍傾營往觀。祖綸至，若無其事的樣子。等到公開他的罪行，支離狡詐，及謀殺蹤跡，祖綸伏罪，立即令就岸上正法，一軍大驚。
江寧有個秀才，妻有美姿。當時李鴻章督兩江，他的遠親弟弟人稱“四大人”者喜愛她，假傳太夫人命，誘入署中，逾月不令歸。秀才偵知其情，請之不能得，上控到縣也不理，控到府也不理。秀才知無訴，於是得癡病，終日人前不絕口，講的就是妻子被霸占。彭玉麟一日停舟水西門，在茶館裏遇見秀才，問他原因，並說：“你沒有聽到老彭來了嗎，何不告訴他？”秀才問老彭在哪裏，彭玉麟指示停舟的地方，並代他寫告狀詞。第二天，秀才果真的去呼冤，彭玉麟令侍從召秀才入見，秀才抬頭仰視，見彭玉麟是昨日茶館中的飲客，大喜過望。彭玉麟見狀大笑，把他的訴狀拿過來，並安慰他說：“明天在家等候你的妻子回來吧。”秀才言謝而出。
彭玉麟立即拿著呈狀拜見李鴻章，縱論巡江人事，言談之間，裝做好像不懂法律的樣子，故意問：“假使有人誘奸百姓的妻子，應當如何處置？”李鴻章說：“當殺！”彭玉麟又問：“假使有官吏誘占百姓的妻子，法律應當如何處置？”李鴻章也說：“當殺。”彭王麟又問：“今天假如有封彊大吏的子弟誘奸百姓的妻子，法律又該如何裁處？”李鴻章似有所悟，勉強答應“當斬”。這時彭從懷中拿出訴狀，呈給李鴻章，並說：“公能執行法律，今天的事就算罷了，否則當上奏朝廷。”李鴻章看完訴詞，臉色大變，走下案桌對彭王麟說：“這件事我確實不知，但劣弟為母親寵愛，請用私人的禮節，稍微寬大處理可否？”彭玉麟說：“你剛剛說完當斬，如果不上奏朝廷，豈不是循私嗎？”李鴻章又說：“緩其死可以嗎？”彭玉麟答道：“其他都遵命，唯這件事不敢答應。”李鴻章不得已，招呼其弟出來，將呈狀扔給他，他的弟弟讀完呈狀，異常害怕，叩頭請求不要處死。李鴻章勃然大怒道：“已經為你求情了，不能活，立即自裁吧。”他的弟弟說：“請求拜別老母可以嗎？”李鴻章轉請彭玉麟，彭玉麟應允，但在庭中等待。過了許久，不見李鴻章的弟弟出來，彭玉麟逼迫李鴻章立即處死他的弟弟。李鴻章對身旁的人說：“去見四大人，把我的箱子揭開，摘取朝珠上的東西（即鶴頂紅，沾舌即死，凡一、二品皆有之），舔之即可。”侍從進到內室，不久裏麵哭聲大作，四大人已經死了。彭玉麟於是謝罪而去。第二天，秘密前往秀才的宅院，他的妻子已歸來，秀才的癡病也痊愈了。
彭玉麟所到之處，訪知文武貪官，非殺即參，人們稱他為“彭打鐵”。因此，凡聽到他來的人，無不頭痛。但彭玉麟來往無常，沒有人能事先知道。自從接任巡江大臣後，不但水師賴以整頓，即使東南數省大小官吏，也不敢過於貪酷，真是國家不可多得的人才！
湘軍諸將在曾國藩的嚴格教誨下，“雖離曾國藩遠去，皆遵守約束不變”。曾國藩在湘軍中把封建倫理觀念同尊卑等級觀念結合，將軍法、軍規同家法、家規結合，用父子、兄弟、師生、朋友等親友關係調和上下尊卑關係，減少內部的摩擦及抵觸，使下級與士兵樂於尊重官長、服從官長，為官長賣命。