最讓曾國藩頭疼的是，幾個月來又冒出一批遊匪。這些遊匪一部分是從嶽州、武昌等城逃出的兵勇，走投無路而聚眾搶劫；一部分是因兩軍交戰中被燒毀房屋而無家可歸的百姓，弱者淪為乞丐，強者聚眾滋事；還有官兵打仗時強擄的民夫，沒有盤纏回家而輾轉他鄉。這些遊匪大半混跡於市井，破壞性很大。
曾國藩指示審案局，對這些危害社會的遊匪一律處以重刑。為鼓勵團丁，他規定，凡捉拿一個匪徒，賞銀二兩。重賞之下，團丁踴躍出擊，有的甚至一天抓幾個送來。曾國藩斷然決定，抓一個就殺一個，絕不寬恕！
各州縣團總倍受鼓舞，大力抓捕地方匪盜押送省城審案局。曾國藩親自接見州縣團總，要他們再接再厲，務期根株淨盡。
審案局這邊，曾國藩對劉建德說：“皇上諭旨，‘辦理土匪必須從嚴，務期根株淨盡’，地方解押來的匪盜皆是首惡，斷無寬恕之理，務必嚴刑審訊。”
劉建德凜然遵命，凡押送來的匪盜，問了籍貫姓名記錄之後，便厲聲吩咐“先打五十殺威棒”。那些個值班勇丁將其踢翻在地，手持大棒猛力劈打。那體弱的當場打死，沒打死的便斬首示眾，前後達兩百多人。
一天下午，曾國藩身穿便服出去，見街頭告示旁聚集著十數百姓在議論紛紛，站在一邊聽他們說的什麼。一個年輕人說：“曾大人厲害，殺了這麼多匪盜，地方能安定了。”一個老大爺長長一歎：“亂世年頭，窮苦百姓過不下去，難免做出點偷雞摸狗的事情。依我看，捉起來打一頓也行，終不能殺頭。這個曾大人，不分輕重一律殺頭，該叫他曾剃頭！”
人群裏響起哄笑：“對，該叫他曾剃頭！”
曾國藩心裏恨罵“無知愚民”，回到審案局。轉念一想，這正好說明嚴辦土匪造成強大的震懾力，告訴劉建德持之以恒。殊不知，這個綽號當天便傳遍長沙，進而傳到各地。
過了幾天，曾國藩收到李翰章的信函。李翰章是李鴻章的大哥，當年曾國藩主持朝考，李翰章拔貢錄取，曾登門行過拜師禮，現任益陽知縣。“曾剃頭”的綽號傳到益陽，李翰章心裏很不是滋味，寫信請老師寬刑辦理，以免招致百姓怨恨。
看了李翰章的書信，曾國藩笑一聲“書生之見”，便毫不客氣教誨這個學生。書信中，曾國藩轉錄鹹豐皇帝“辦理土匪，必須從嚴，務期根株淨盡”的諭旨，然後援引諸葛亮嚴律治蜀的曆史經驗，告誡李翰章在益陽要嚴刑治理，萬不可有婦人之仁而辜負聖恩雲雲。
3.勤練湘勇
塔齊布雖然盡職盡責，畢竟是綠營軍官任務繁重，沒有足夠的時間和精力教團丁。曾國藩便注意發現武藝較好、人品實誠的人，選拔他們擔任什長和哨長之類的長官。他還揣摩戚繼光的《紀效新書》和《練兵實紀》，照戚繼光的經驗辦事，團丁訓練漸有起色。
一天下午，荊七進來報告：“大人，去年在嶽陽樓見到的那個楊載福來了。”
“快請他進來！”曾國藩喜出望外，大步朝門外走去。
楊載福一進來就打拱行禮：“曾大人，小人有眼不識泰山，上次在嶽陽樓多有冒犯，請大人海涵。”
曾國藩見他戴的從五品頂子，樂嗬嗬地說：“什麼冒犯！我有幸結識足下，心裏一直高興。足下在哪個營做事，我來長沙數月，怎麼一直沒見你？”
楊載福恭恭敬敬地說：“去年，我帶著大人的薦書，到長沙投奔駱撫台。駱撫台問我薦書的來曆，我把當時的情況告訴他。駱撫台說：‘你好運氣，曾大人是當今禮部侍郎，此次回家奔喪，讓你碰上了。’我大吃一驚，才想起大人的確說過回家奔喪。駱撫台把我留在撫標營，見我武藝過得去，提升了一級，派我到辰州協訓練新兵。前幾天回長沙交差，昨天在街上見到大人的告示，才知道大人在省裏辦團練。今天特地請了假，前來拜見大人。”
曾國藩見他不負自己的推薦，心裏很高興：“足下一年來大有長進，又有了訓練新兵的經驗，很好。我想請足下到大團來幫我訓練團勇，足下可否願意？”
楊載福說：“大人是我的恩人，別說叫我來當教官，就是叫我入虎穴狼窩，也不會推辭！”
曾國藩大喜，當即給駱秉章寫信，請他放楊載福到大團來。駱秉章自然同意。次日，楊載福便到曾國藩衙門報到。曾國藩帶楊載福到南門外操場，分到羅澤南的一營當哨官兼全營教習。
下午，曾國藩從南門口操場回魚塘口，看到路邊草坪裏有一個漢子在賣藝，四周稀稀疏疏聚集了數十人，不覺產生興趣。草坪裏，擺著刀槍棍棒等兵器。那個賣藝的漢子向觀眾抱拳施禮，說了幾句“在家靠父母，在外靠朋友，有錢的請捧個錢場，沒錢的請捧個人場”的江湖客套，便手持一把大刀演練開來。曾國藩雖然不懂武藝，畢竟當過武會試正總裁，兼任過兵部侍郎，見識過兵營將士演練，也練就了一定眼力。那漢子手中大刀舞得如同白練裹身，他看出此人刀術有了一定功底，不禁駐足觀看。不久，那漢子收了刀，猶自麵色不改氣不喘，人群裏響起一片喝彩。那漢子抱拳稱謝，從地上拿過一麵小銅鑼，笑盈盈走過來。觀看的人知道這是要賞錢，那些身上帶了製錢的，紛紛掏出來扔過去，錢幣在銅鑼裏叮當作響。
“好漢，你有一身武藝，何不去投軍？眼下太平軍作亂，正是你們這些有武藝的人顯露身手的時候。沒準去了軍營，還能掙到功名，封妻蔭子呢。”也有人身邊沒有帶著錢，或者舍不得，用這樣的話捧人場。曾國藩覺得這正是自己想要說的，便細心察看那漢子有什麼反應。
那漢子笑著回答：“感謝看官厚愛，在下也想過投軍。隻是，如今官場都要門路，在下沒人引薦，恐怕去了也是白去。”