在這個時候，清朝與太平軍的戰爭處於膠著狀態，正當用人之際。終於，清廷頒下了特旨，就左宗棠一事垂詢曾國藩，認為左宗棠熟習湖南形勢，對軍隊的戰勝攻取，都調度有方，眼下軍情緊急，讓曾國藩酌情考慮應否令左宗棠仍在湖南襄辦團練事，還是調赴軍營，以盡左宗棠之所長。
隨後清廷命曾國藩代理兩江總督。同一天，清廷下發諭旨，令左宗棠以四品京堂候補，隨同曾國藩襄辦軍務。曾國藩在胡林翼的催促之下同意授權左宗棠組建一支部隊開赴戰場。清廷隨後下詔，令左宗棠在湖南招募五千人，前往安徽和江西作戰。左宗棠得到了隨同曾國藩襄辦軍務的任命，便從一個僅以紳士身份參戎幕府的賓客而轉變成清廷的命官。
從此，左宗棠青雲直上，他得以獨自建立軍隊、自立門戶，短短幾年便由襄辦軍務升幫辦軍務、巡撫浙江、總督閩浙，躍居清朝督撫要員的地位，和晚清名臣曾國藩、李鴻章並稱\"曾左李\"。
左宗棠接到襄辦曾國藩軍務的諭旨後，立即著手規劃，他返回湖南省城長沙開始招募軍隊進行訓練。同時左宗棠憑借著兩次進入湘幕的威望，廣招湘軍宿將，提出的要求是\"勇敢樸實\"，左宗棠選擇了劉典和楊昌浚等人來任將官。他們招募的官兵人數如下：王鑫舊部，一千四百四十人；四營官兵，每營五百人，共兩千人；四總哨，每哨三百六十人，共一千二百八十人；衛隊，二百人。總計四千九百二十人。
雖然深受曾國藩的舉薦之恩，但左宗棠對曾國藩，自始至終毫無唯唯之態。在曾國藩麾下帶兵之初，左宗棠就表現出不甘人下的特立獨行風格。僅用一個多月時間，左宗棠就募軍近五千人，並正式命名為\"楚軍\"。
以前，凡是曾國藩麾下的軍隊，統稱為\"湘軍\"，楚軍是湘軍的一個支係，但左宗棠在創立這支軍隊時不用湘軍之名而稱楚軍，表明他的意向在於獨樹一幟，自辟蹊徑，而實際上左宗棠所部楚軍與曾國藩的湘軍相較也確有其獨到的特色。
在招勇方麵，左宗棠不像曾國藩那樣主要招收湘鄉籍兵勇，而是主張在湖南各府縣招募，其兵源來自長沙、湘鄉、郴州、沅州、湘陰等府縣，以避免曾國藩部湘軍\"盡用湘鄉勇丁，無論一縣難供數省之用，且一處有挫，士氣均衰\"的弊端。
在營官的選用方麵，曾國藩組建湘軍時主張\"帶勇之人第一要才堪治民\"，即以文人、儒生領軍，左宗棠則強調營官多用武人，因為武人能拚命打硬仗。左宗棠的這種辦法，使其所部楚軍戰鬥力較強，且完全聽命於他的指揮。
在太平軍相繼攻占廣德與寧國的形勢下，清廷實授曾國藩為兩江總督，任命他為欽差大臣，督辦江南軍務，所有大江南北水陸各軍，都歸他節製。
這時，石達開所部從貴州挺進四川。清廷提議將左宗棠調任督辦四川軍務。左宗棠認為他的部隊剛剛組建，不想獨自負責一方軍務。胡林翼和曾國藩也以江西和安徽軍情緊急為理由，聯合上奏，請求留下左宗棠所部增援安徽。左宗棠得以最終留下。
1860年9月22日，左宗棠率領他這支五千人的部隊離開長沙，奔赴江西南昌。此時的他，已經年近五十，可是，\"老驥伏櫪，誌在千裏\"，左宗棠終於迎來了施展平生抱負的時機。