崛起之前，曾國藩在同鄉儒生羅澤南的協助下，先建立起一支數千人的隊伍，之後逐漸擴大。曾國藩十分了解清朝八旗兵、綠營兵的腐敗，所以，他在組建隊伍時，首先留心了從平民當中招募士兵，決不引進官僚子弟，之後是他十分注意宗族關係，把軍隊組建成一個血緣家庭性質的組織，以壯大戰鬥力。
曾國藩雖然堅決反對滿族人擔任一般的軍官，以免影響戰鬥力，但為了贏得滿族人的信任，他特別推舉了滿族人塔齊布為湘軍大將，薦舉多隆阿為湖北將軍，在一切預備完成後，曾國藩的這支湘軍開始開出湖南省，準備同太平軍作戰了。
鹹豐四年（1854年）五月，曾國藩率湘軍出戰，在嶽州與太平軍交戰，沒想到一戰即潰。曾國藩出省共有湘軍1萬，水、陸軍各5000，連其他人等共1．5萬多人。嶽州一戰，水師被打得一敗塗地，幾乎全軍覆沒。曾國藩可能是從未有過失敗的滋味，忍受不住這種打擊，便投水自殺。幸虧被手下士兵所救，自殺未遂。曾國藩羞憤交加，下大力氣整頓湘軍，過了3個月後，再戰嶽州，於6月份攻陷，同年10月，曾國藩督戰，經過激烈的爭奪，又攻下了武漢。曾國藩這時總算報了嶽州失敗之仇，情緒高漲起來，叫囂道：“肅清江麵，直搗金陵。”
鹹豐五年（1855年），曾國藩進逼九江。這時，太平天國起義軍開始仔細對付曾國藩了，派石達開為統帥，大舉向西增助。石達開是一位智勇雙全的著名統帥，他把曾國藩的水師騙至鄱陽湖，再堵住湖口，勝了敵軍，焚燒了戰船。
曾國藩看見自己苦心經營的水軍又一次化為泡影，連自己的坐船都被燒掉了，更是羞憤交加，又要投水自殺。這次投水多虧又被部下拉住，免受了入水之驚。曾國藩兩次投水，未得其死，也許僅是做做樣子，並不是真的想死，隻是為了拉攏人心，由此可見曾國藩城府之深。
石達開戰勝了曾國藩這支在當時看來戰無不勝的軍隊，太平軍又大破了清軍的江南大營和江北大營，軍事已威震全國，大有奪取全國之勢。可就在此時，太平軍內部發生了嚴重的分裂，為爭權奪利相互殘殺，楊秀清、韋昌輝、秦日綱等赫赫將領先後被殺，兩萬多精銳死於內亂，石達開又帶十萬精兵出走。太平天國軍從軍事上的鼎盛時期走向了下坡路。
此時，曾國藩趁機再奪武漢，並在與陳秀成激戰後攻奪了安慶。鹹豐十一年（1861年）八月，曾國藩擔任兩江總督，督辦江南軍務，有了更大的指揮權，派三路軍馬進攻：李鴻章率淮軍由上海進攻蘇南，曾國藩率主力進攻天京，左宗棠進攻浙江。因為太平軍士氣低落，戰鬥力大打折扣，因此連吃敗仗。無錫、常州、蘇州等地接連失陷。
曾國藩的湘軍入天京後，見人即殺，見屋即燒，以至“秦淮河屍首如麻”。湘軍見物即搶，“子女玉帛悉數盡歸湘軍”。曾國藩完成了他率湘軍攻滅太平天國起義軍的“元凶”使命，因為他善於玩弄權術，又逐步地登上了“聖相”的地位。
曾國藩在攻打太平軍的十二年曆程中，並非一帆風順，他屢次戰敗，兩次投水自殺，還有一次因擔心李秀成的大軍襲來而數日懸刀在手，預備一旦失敗，就自殺領罪。雖然他對朝廷忠心耿耿，但還是屢遭疑忌。
在第一次攻打武漢之後，捷報傳到北京，鹹豐帝很是高興，讚揚了曾國藩幾句，但鹹豐近臣說：“如此一個白麵書生，竟能一呼百應，並不一定是國家之福。”鹹豐聽了，沉默不語。
曾國藩也知會遭人疑忌，便借回家守父喪之機，帶著兩個弟弟（也是湘軍重要將領）回家，辭去所有軍事職務。過了近一年，太平軍進攻盛產稻米和布帛的浙江，清廷驚恐，又請他出山，並委他兵部尚書頭銜，有了軍政實權。不久，慈禧太後專政，認為滿人無能，就重用漢人，為曾國藩掌握大權提供了一個關鍵的曆史契機。
同治元年（1862年），曾國藩被授予兩江總督節製四省軍政的權力，巡撫提督以下都須聽命，不久又賜以太子太保頭銜，兼協助大學士。從此，曾國藩在清廷中有了舉足輕重的地位。
曾國藩激流勇退的方式進一步獲得了清廷的信任，取得了大權，在進攻太平軍勝利之後，他仍然小心翼翼。因曾國藩的湘軍搶劫吞沒了許多太平軍的權力，使得“金銀如海、百貨充盈”的天京人財兩空，朝野官員議論紛紛，左宗棠等人還上書彈劾，曾國藩既不想退出財物，也不能退出財物，在入京之後，著手做了4件事：
1．因怕權大壓主而退出了部分權力；
2．因怕湘軍太多引起疑忌裁減了四萬湘軍；
3．因怕清廷懷疑南京的防務而建造旗兵營房，請旗兵駐防南京，並發放全餉；
4．修蓋貢院，提拔江南人士。
這4策一出，朝廷上下果然交口稱讚，再加上他有大功，清廷也不好再追查什麼，相反顯示出了他的謹慎態度，更贏得了清廷的信任，清廷又賞以太子太保頭銜，賞雙眼花翎，賜為一等侯爵，子孫相襲，代代不絕。至此，曾國藩榮寵一時，飛黃騰達。