李續賓在一旁施禮，說道：“駱大人，依在下之見，本軍無須改裝。逆賊由於輕裝上陣，所以善戰，我們湘勇也是起於畎畝，與逆賊爭鋒，全靠短衣草鞋，靈便活潑，還是不要用甲胄束縛他們，令他們膽怯吧。”李續賓此話也許在湘鄉勇將領中具有代表性，湘勇此後作戰一直不穿甲胄，衝鋒時以肉身冒著炮火，對著刀刃，這就是李續賓倡導的勇敢。
六月十二日，曾國藩與駱秉章會奏辦理防堵事宜一折。曾國藩又專折奏稱：
臣母喪初周，擬回籍修小祥之禮。適聞粵賊回竄江西，臣應留省城會籌防堵，不敢以事權不屬，軍旅未嫻，稍存推諉。
同一天，曾國藩又與駱秉章聯合上奏，參劾長沙協副將清德性耽安逸，不理營務，請旨革職，交部從重治罪，以儆疲玩而肅軍政。
曾國藩又專折奏保塔齊布和千總諸殿元，說塔齊布忠勇奮發，習勞積苦，深得兵心；諸殿元精明練達，膽勇過人，懇恩破格提拔。為了表明他的保舉十分慎重，他說此二人日後有臨陣退縮之事，皇上可以將他一並治罪。
曾國藩在大辦團練時重用滿人軍官塔齊布，而他向皇帝奏保的人員，首先就是這個滿人武官，可以看出他行事之謹慎。他要向滿人統治者表明忠心，借以消除最高統治者的猜疑。
曾國藩訓練新軍，確實也要借重塔齊布。他和駱秉章將各路兵勇幾千人調來省城防守，全賴塔齊布逐日抽調操閱，暑雨不輟。可是塔齊布聽令於曾國藩，便間接地得罪了提督鮑起豹。鮑提督來到省城，聲稱盛夏酷熱，不應操練。官兵不願吃苦，都怨塔齊布給他們找苦頭吃。怨氣也發到了曾國藩頭上，於是正規軍與勇隊發生爭訌。曾國藩奏參的副將清德連忙依附鮑起豹，成為塔齊布的仇家。
但是曾國藩得到了鹹豐的支持。鹹豐覽奏之後，決定將清德革職拿問，交張亮基、駱秉章訊明定罪；同時賞給塔齊布副將銜，將諸殿元以守備補用，先換頂戴，以示鼓勵。
這樣一來，正規軍對曾國藩的怨恨加深，為日後的騷亂埋下了種子。
曾國藩此時還種下了一個苦果。在招兵買馬的浪潮中，王珍的積極性最高，一下子就增募了二千人。曾國藩對王珍頗為不滿，駱秉章卻不反對，留下王珍的兵力作為湖南的遊擊部隊，令他駐紮郴州，以防南路土匪。曾國藩和王珍的分道揚鑣，從這時起就顯露出征兆。
當時廣西會黨進攻全州，王珍趕赴郴州防守，不久又到桂東辦理團練。他發現桂東民情淳樸而懦弱，若有疾苦不敢言者，於是秘密察訪，鎖定擾民最厲害的一百多名匪徒，逮捕歸案，全部處死，由此民心大悅。王珍趁熱打鐵，召集鄉民，教之戰陣，形成幾千人的勁旅。
援贛大局既定，曾國藩做了具體的布置，他令江忠淑從瀏陽進兵，朱孫貽從醴陵進兵，夏廷樾、郭嵩燾、羅澤南共領兵勇一千四百人從醴陵隨後進發。合計援江兵勇三千六百人，這就是湘鄉勇出境征討太平軍之始。
曾國藩對湘鄉勇特別關心，擔心他們缺乏針對太平軍的作戰經驗。他認為，楚勇身經百戰，隨同前往，可以彌補這個缺陷。江忠源的三弟江忠淑熟悉江家軍的營製，曾國藩令他率領新寧勇打前鋒。曾國藩又擔心楚勇崇尚剽悍精銳，營製卻不嚴密，令千總張登科率領二十名湘鄉勇為他們做前哨。
部隊出發前，曾國藩對江忠淑和張登科叮囑道：“必須在百裏之外派出哨探，到了瑞州，就停止行軍，等待湘鄉勇到來，一起前進。”
六月十八日，湖南援贛軍的湘鄉勇從長沙出發，部隊番號為“湘勇”，沒有營名，營以下也沒有設立哨和隊，也就是沒有連、排建製。領隊的軍官，除了羅澤南、朱孫貽、李續賓兄弟，還有夏廷樾、郭嵩燾、楊虎臣、康景暉、楊昌浚、羅信東、蔣澤沄、易良幹、羅鎮南、謝邦翰、李杏春，一共十五人。駱秉章和曾國藩沒有起用綠營將領，營官和哨官都是清一色的書生。曾國藩對書生的忠誠寄予厚望。