由於湖南的不少書生熱衷於團練事業，該省民間軍伍的形成有了不錯的基礎，但還需要一個必要的條件，那就是曾國藩的出山。湘軍的崛起絕非發端於曾國藩，也絕非由他一人之力而生成，但跟他出任幫辦團練大臣的確有直接的關係。湖南的鄉勇原來各自為陣，由於曾國藩的出山，他們才有可能脫離本鄉本土，整合在統一的旗號、統一的指揮機構和傑出的指揮員之下，集結力量，進行大規模和大範圍的作戰。
因此，曾國藩在鹹豐三年所做的事情，對於湘軍的誕生舉足輕重。
曾國藩年初來到長沙任事以後，和代理湖廣總督張亮基、代理湖南巡撫潘鐸一起於二月三日奉到上諭：
封疆大吏翦除百惡，即可保衛善良，著該署督撫等認真查辦，並著會同在籍侍郎曾國藩體察地方情形，應如何設法團練以資保衛之處，悉心妥籌辦理。
雖然鹹豐隻給了曾國藩一個輔助的角色，但對於團練鄉勇保衛全省的責任，曾國藩有心一肩挑任。這位團練大臣自從決定出山以後，心中就打好了算盤。既然在守孝期間奉旨辦差，就要大幹一場，如果隻是玩一玩地方的團練，那就太沒意思了。
曾國藩要辦大事，就要把手伸向湖南的官場，控製一些要害的職能部門。他盤算著如何借助皇上的天威來為自己打開局麵。奉到上述聖旨九天以後，他就上奏了《嚴辦土匪，以靖地方》一折。他說湖南存在各種各樣的土匪，但近年來當局隱瞞不報，任其猖獗，隻有動用嚴刑峻法，才能把大規模的動亂製止在萌芽狀態。
這位團練大臣說，太平軍在湖南走了一遭，這裏的會黨多半都隨太平軍去了，但仍然有串子會、紅黑會、邊錢會和香會聚集鬧事。湖南的崇山峻嶺，有利於會黨的孕育。東南部的衡州、郴州和桂陽州，南部的永州，西南部的寶慶和靖州，到處隱藏著會黨。地方官府知道會黨的勢力無法遏止，都不想自己的轄地裏發生禍患，千方百計地加以遮掩，苟且偷安，留下了幾十年應殺而沒有殺的人，聽任他們橫行霸道。現在鄉下的無賴刁民氣焰高漲，他們見有人命在身的強盜首犯常常逍遙法外，又見太平軍勢力強盛，朝廷沒法製止，便以為法律隻是一紙空文，官員也隻是擺設，對他們不起作用。如果不用高壓手段，就無法打掉他們囂張的氣焰。
曾國藩相信皇帝一定讚成他的這個分析，更會讚賞他提出的解決辦法。他告訴鹹豐，他要開展一場大規模的嚴打，鏟除強暴勢力，給良民以安生之日。這話聽起來有些像申韓法家治國的主張，似乎不應該出自一個理學家之口。這正是曾國藩的高明之處。在不同的時期，不同的場合，他會借重不同的理論觀點。現在他把仁恕放在一邊，鼓吹治亂世須用重典。這種做法體現他實踐學問的博大，不會吊死於某一種學術之上。同時在並非貶義的基礎上，也可以說他是某種程度上的機會主義者，體現了湖南人特有的變通精神：靈泛。
曾國藩所說的嚴打，就是從重從快打擊犯罪活動。從重，是靠嚴厲的刑罰對罪犯形成威懾；從快，是以迅雷不及掩耳之勢出手，把罪犯打蒙，但不免簡化程序，錯判罪案。這跟儒家治國的理念大相徑庭。但曾國藩此時急功近利，已把儒學修養拋到腦後，連身敗名裂都在所不惜。他說，他雖然會由於嚴厲的司法得到殘忍嚴酷的名聲，但他也認了。當今的急務，要使全省沒有破不了的案子，清除大小各路會黨，就可以指望滌蕩一切汙濁。對於那些曾經有過搶掠、拜會、結盟行為的人，要當即正法。隻要清除了內奸，太平軍從外省再次打來，也無法有什麼作為了。