李鴻章所募淮勇到安慶後，曾國藩“為定營伍之法。器械之用、薪糧之數，悉仿淮勇章程，亦用楚軍營規以訓練之。”2月22日，李鴻章移駐安慶北門城外營內，曾國藩親臨祝賀。李鴻章深知淮勇實力單薄，難當重任。他說：“敝部除張遇春一營外，均係新勇，戰守難恃，遠征異地，若無精兵宿將，立有覆敗之虞”。因此，他懇請曾國藩調撥數營湘勇，以加強戰鬥力。曾國藩既害怕淮勇不堪一擊，又打算憑借湘軍榜樣“為皖人之倡”，以陶鑄淮勇風氣，因而允其所請，陸續調撥湘勇八營，歸其節製。其中有曾國藩親兵兩營，由韓正國統帶，充任李鴻章親兵；開字兩營，借自曾國荃，由程學啟統帶，程係陳玉成部太平軍叛徒，其部下多籍隸兩淮；林字兩營，由滕嗣林、滕嗣武統帶，乃係江蘇巡撫薛煥使之在湖南招募而來，原為4千人，經曾國藩裁至千人，編入淮軍；熊字營由陳飛熊統帶，垣字營由馬先槐統帶，均係奉曾氏之命在湖南所招，原備湘軍部將陳士傑率領，隨同鴻章援滬，因陳氏不願前往，遂撥歸淮軍。
所有這些，就是淮軍初創時期的基幹隊伍，共計13營，6千5百人。3月4日李鴻章陪同曾國藩檢閱銘、鼎、樹、慶和程學啟、滕嗣林等營，標誌著淮軍正式建成。
李鴻章組建淮軍，由於得到曾國藩的支持而較為順利，但也並非沒有遇到困難。其一曰軍心不穩。據李鴻章幕僚周馥說：
“時人多以江北巢縣下抵浦口，數百裏皆粵賊，重重守禦，南京尚未收複，慮事不濟，先許戎者，臨時多辭退。”其二曰缺乏統將。李鴻章供認：“各營官尚有可用之材，但無統將。楚中諸老雖相愛之甚，竟難以偏裨畀我。沅甫方伯終不欲東，俊臣（陳士傑）廉訪以母老辭。獨立無助，能不愧懼。”其三曰糧餉不繼。李鴻章致函吳煦說：
“朝旨疊催起程，惟恐不速。弟亦急欲就道，無如水陸各軍絲毫無可指之餉，行裝難措，舉步維艱。如蒙尊處分惠十餘萬金，發給弁勇一兩月行糧，庶可早抵下遊，共維全局。”他在寫給李桓的信中表白自己“不得不專盼上海解濟”的苦衷，然而“彼間屢逼寇警，商貨頓滯，當事又搖搖欲動，輒無意迎饋我師，帥已兩次具奏鴻章二月杪成行，其遲延之咎，固難獨任矣。”
湘淮“本係一家，淮由湘出，尤有水源木本之誼。”因而湘軍和淮軍有著基本的一致性。其“營製餉糈皆同”。湘淮軍改革綠營之製，略仿明代戚繼光“束伍”成法，分營立哨。湘淮軍“以召募易行伍”，以將帥自招的募兵製代替了兵權歸於兵部的世兵製，從而改變了兵與將、軍隊與國家的關係。湘淮軍以各級將領為中心，先設官，然後由官召兵。
後來，李鴻章對李宗羲說：“滌帥與弟，治軍十餘年，皆先選將，而後募營，其營哨須由統將自擇，呼應較靈。”之所以“呼應較靈”，就是因為這種製度使統領、營官、哨官成了大帥的私屬，而弁勇也成了營官、哨官的私兵，“一營之中指臂相聯，弁勇視營、哨，營、哨官視統領，統領視大帥”，全軍隻服從曾國藩或李鴻章，完全成了“曾家軍”或“李家軍”。其他省區的將帥固然指揮不了，就是清朝中央也休想直接調遣。