道光二十九年（1849年）正月，曾國藩升任為禮部右侍郎，開始了其真正的官場生涯。曾國藩在沒有實授禮部侍郎之前，雖然做了十年的京官，但是手中卻沒有真正的實權。實授禮部右侍郎才標誌著他從政生涯的真正開始。此後四年中，曾國藩做遍了兵、工、刑、吏各部的侍郎。
鹹豐二年（1852年）六月二十四日，曾國藩離開京城南下，想借助典試江西的機會回家省親。七月二十五日，一行人抵達安徽太湖縣境的小池驛，忽然接到家人來報，他母親江氏撒手人寰，哀痛之至的曾國藩立即脫下官服，披麻戴孝，回家奔喪。
曾國藩到家僅三個月就接到了巡撫張亮基的來信，信中誠邀曾國藩到長沙去辦團練。原來是太平軍從全州出廣西境，一路殺進湖南，在七月攻破醴陵後，西王蕭朝貴、翼王石達開率領五千先鋒一舉全殲了駐紮在長沙城外的一千官軍，次日又來到長沙城下準備攻城。曾國藩想自己一個朝中堂堂的二品侍郎，又熱孝在身，若僅因一巡撫的邀請便出山辦事，既有失自己的身份，又招致士林的譏嘲，於是便以在家守製為由拒絕了張亮基。不久，曾國藩又接到鹹豐帝的上諭：“前任丁憂侍郎曾國藩籍隸湘鄉，聞其在籍，其於湖南地方人情自必熟悉，著該撫傳旨，令其幫同辦理本省團練鄉民、搜查土匪諸事務，伊必用力，不負委任。”曾國藩接到上諭後，左思右想，最後決定暫不受命，於是便給皇上寫了一份“懇請在籍終製折”，正要發出去時，忽然好友郭嵩燾來訪。郭嵩燾力勸曾國藩出山為皇上盡忠，並請出其父曾竹亭做他的工作。曾竹亭是湘鄉縣的掛名團總，又聽了郭嵩燾的話，便麵諭曾國藩移孝作忠，為朝廷效力。恰好這時，張亮基又來一信，報告武昌失守的消息，再一次請曾國藩出山晉省。於是，曾國藩將家事妥善安排了後，在母親靈柩前焚燒了尚未發出的“懇請在籍終製折”，便墨絰出山了。
曾國藩擔任湖南團練大臣後在長沙設立了審案局，招募勇丁，揭開了鎮壓太平天國運動的序幕。曾國藩想：先招募少數人，加以嚴格訓練，使之能以一當十，然後以這些人為骨幹，再招募十倍二十倍的人，立即就可以成為一支勁旅，到時拉出省外，與太平軍較量。於是，曾國藩便向朝廷上了一道奏折，鹹豐很快便批複：“悉心辦理，以資防剿。”曾國藩奉了這道聖旨，立即大張旗鼓地招起人來。曾國藩把嚴懲土匪作為他的團練方針。
鹹豐三年（1853年）正月，曾國藩向湖南各州縣發出號令，要求對土匪“格殺勿論”。二月，曾國藩派劉長佑、王錱等將常寧白沙堡的農民暴動鎮壓了下去，派張榮祖把宜章、桂東的農民暴動鎮壓了下去；三月，曾國藩派夏廷樾、張榮祖把永安、安仁等地的農民暴動鎮壓了下去。曾國藩瘋狂的“剿匪”行動終於平定了湖南境內的起義活動，但因他奉行“亂世須用重典”的政策，殺人就像剃頭一樣簡單，所以被別人稱為“曾剃頭”。
曾國藩出山後，湖南巡撫張亮基給予他很多的方便，但曾國藩到長沙不久，張亮基就調到武昌做湖廣總督了，布政使潘鐸暫時接替了他的職位，原雲南布政使徐有壬調到湖南來做布政使，陶思培擔任湖南按察使。他們與曾國藩的關係本來就不好，後來曾國藩“越權侵官”，使得他們對曾國藩處處掣肘，甚至打擊。這使得曾國藩處境非常孤單，於是便給朝廷上了《移師衡陽折》，於八月二十七日憤走衡陽。十月，曾國藩創辦水師，任命彭玉麟為第一營哨官，楊載福為第二營哨官，褚汝航為第三營哨官。
鹹豐四年（1854年）正月，太平軍西征軍攻破武昌，再次進入湖南，並連克嶽州、寧鄉、湘陰等地。為了控製太平軍的發展，鹹豐帝命曾國藩前往武昌，以緩解軍事上的緊張局勢。此時，曾國藩的水陸兩師已有一萬人。三月，曾國藩來到靖港，中計大敗，投水自殺被部下救起。五月，再次出征，經過整頓的湘軍連克常德、澧州、嶽州。八月，攻下武漢。九月，攻破田家鎮。連續的勝仗使曾國藩感到風光無限，大有一鼓作氣拿下金陵的趨勢。然好景不長，十二月，曾國藩就在九江戰敗，再次跳水自殺，被及時趕到的彭玉麟救起。曾國藩在九江戰敗後，便將九江的防務撤去，回護南昌。