楚軍成立後，集中在長沙城南金盆嶺，進行戰前短期訓練，它共設四營和四總哨，每營500人，每總哨320人，總共3280人，由各縣招募來。左宗棠招請了崔大光、羅近秋、黃少春等舊將弁，擔任營、哨軍官，選人的標準以勇敢樸實為主。選精銳200人為親兵，分成八隊。楚軍總共5000餘人，由王堂弟開化（梅村）總全軍營務，劉典（克庵）和楊昌？（石泉）為副手。王舊部老湘軍1400人也收入楚軍，由王弟王開琳任統領。
左宗棠原是奉命去長江下遊，幫辦曾國藩軍務。出發前，因石達開率部將由貴州入川，朝廷意思讓他改去四川督辦軍務。遭到曾國藩和胡林翼的反對。左宗棠自己也不願去川，而願入吳。他們都認為如左宗棠去川，形勢孤單，不易成功；三人聯合更有利。曾國藩和胡林翼就以江皖戰事緊急，上疏請留左宗棠援安徽。不久廣德、寧國都被太平軍攻占，清廷接受了胡、曾的意見。左宗棠遂率楚軍於八月從長沙出發，經醴陵進入江西，原想去祁門與曾國藩軍會合。半路上聽到太平軍已占領徽州，於是左宗棠率部隊由南昌經過樂平，進駐江西東北門戶景德鎮。到景德鎮不久，正有一支太平軍別部由廣東進入贛南，準備進窺景德鎮。左宗棠派王開琳的老湘營擊退了它，這支別部就逃往景德鎮東南的德興，擬與據守該處的太平軍會合，左宗棠派王開化、楊昌？率部隊在半路截擊，王開琳的老湘營又從後追來，太平軍出其不意，大敗而逃，楚軍乘勝收複了德興，又晝夜追趕，兩天後收複了婺源，太平軍逃往浙江。楚軍出師首戰告捷，收複兩要地，在江西站穩了腳跟。這也是左宗棠的第一次實戰。
太平王朝自鹹豐六年（1856年）內訌，石達開出走，形勢一度陷入危急。後來由李秀成、陳玉成等重組核心，於鹹豐八年八月在浦口擊破江北大營，殲清軍萬餘人，鹹豐十年三月又擊破江南大營，殲敵數萬人，清軍主帥和春自殺。太平軍重振了威勢，連克蘇州、常州，進入浙江，攻陷嘉興。清朝廷看到形勢不妙，隻有倚靠湘軍，於是實授曾國藩為兩江總督，並任欽差大臣，掌握江南江北軍政大權。
曾國藩的大本營在祁門，他的第一個目標是奪取安慶。安慶是天京西南的重要門戶，據長江中遊，扼鄂、豫、蘇、浙、贛5省咽喉。他和曾國荃、胡林翼的部隊包圍了安慶。太平軍為了解安慶之圍，派出南北二路軍再次西征，以轉移清軍兵力，目標是會師武昌。北路由英王陳玉成、南路由侍王李世賢分別率領。十一月各路軍包圍了祁門，隻剩西南通往景德鎮的一條路，全靠左宗棠為後援接濟。左宗棠軍攻克婺源後，準備進攻徽州，因為太平軍定南主將（後升堵王）黃文金率領數萬部隊攻擊建德，一連攻克了彭澤、昌都、鄱陽等縣，聲勢很大。於是左宗棠命收兵回守景德鎮、婺源、浮梁，黃文金率5萬人來攻，左宗棠守軍隻有5000人，他定了一個小小的計策，命黃少春部隊從後麵繞擊，以少勝多，將黃文金擊退。
太平軍準備再度大舉進攻，曾國藩急忙調鮑超部隊來增援。鮑超是有名的勇將，左宗棠則有謀略，二人定下一條計策，由鮑軍正麵出擊，楚軍守屯，另外派一支軍埋伏在後路。鹹豐十一年正月黃文金又來進攻，不幸中了圈套，大敗而走。楚軍和鮑軍收複了建德，祁門於是解了圍。 曾國藩對左宗棠初戰告捷，十分歡喜。他在楚軍收複德興、婺源二城後，上奏為左宗棠請賞，得旨由四品京堂升為三品京堂候補，仍隻能算是一個小官。祁門解圍後，他又上奏為左、鮑表功：“臣在祁門，三麵皆賊，僅留景德鎮一線之路以通接濟，該逆欲得甘心，賴左宗棠之謀，鮑超之勇，以守則固，以戰則勝，乃得大挫凶鋒，化險為夷。”清朝廷下詔嘉勉。 鹹豐十一年二月，侍王李世賢的部隊又進入江西，聲勢浩大，攻破了婺源，侵入平樂、鄱陽，進窺浮梁、景德鎮。眼看楚軍將被包圍。左宗棠派王開琳和羅近秋去邀擊敵軍，不料王開琳中了埋伏，敗逃回來，部將陳明南戰死。李世賢軍隊突然從小路偷襲景德鎮，那時景德鎮已由曾國藩命建德屯將陳大富駐守，大富抵擋不住，投水而死，景德鎮迅即被太平軍攻克，清軍吃了一次敗仗，左宗棠於是率楚軍退守樂平。
三月，太平軍和楚軍在樂平進行了一場大戰。李世賢的前隊被擊退後，派出三路大軍進攻。楚軍兵少，左宗棠命令堅壁不出，太平軍沒有攻下，等到日中，太平軍鬆懈下來了，楚軍看到時機已至，突出反擊，太平軍被擊退二十裏。
幾天以後，李世賢將大軍都調到樂平，決心要把它攻下。樂平是個小城，城牆已坍壞，左宗棠下令營兵們沿城牆築一道壕塹，從城東南的小河裏引水注入城外堰內，使敵騎難以前進。三月十三日李世賢大軍兵臨城下，號稱十餘萬，將樂平圍困數十重。楚軍困守在壕內，隻有5000人。太平軍幾次撲壕，楚軍寂然不動，等到太平軍臨近時再予還擊，太平軍沒有得手，一直相持到深夜。第二天中午，李世賢決定將主攻方向由東北轉到城西，加緊進攻，守壕楚軍死傷很大，眼看要支持不住了。左宗棠於是果斷地下令反擊，由王開化率隊出西路，王開琳出東路，他自己與劉典出中路，聽鼓聲起，三路同時跳出壕塹，與太平軍短兵相接。太平軍出其不意，在楚軍橫衝直撞之下，紛紛敗退。那天正值大風大雨，河水驟漲，人馬溺死的很多。這次戰役，李世賢軍損失5000餘人，他自己也隻身逃走。與此同時，曾國藩軍在徽州卻打了敗仗，潰退到休寧。由於楚軍的勝利，祁門後路肅清，曾國藩才得以後顧無憂，於是移駐東流。楚軍出師不及一年，取得這次大捷，更加鞏固了在江西作戰地位，也加強了清軍在江、皖的作戰力量。
李世賢在樂平軍敗後，率大隊進入浙江，接連攻下龍遊、湯溪、金華、遂昌、義烏、處州、嚴州等城，失之桑榆，收之東隅，浙西南幾乎全部為太平軍占領。清朝廷看到浙江地方部隊不中用，就命左宗棠率楚軍入浙支援，並且詔授他太常寺卿，封他一個掛虛名的官。但是曾國藩因為皖南還不鞏固，奏請暫時仍留左宗棠守住婺源，以保住江、皖不穩定的形勢。楚軍因此仍留駐在景德鎮一帶。
這年六月，左宗棠和劉典一同來到新收複的婺源。婺源是一座小城，地處皖、贛、浙交界，因為是南宋大儒朱熹故裏，倒很有名，素稱文獻之邦。城在萬山之中，人民無隔宿之糧，全靠從外地水運糧食。商船一日不到，百姓就要挨餓。婺源屬徽州，徽郡山多田少，商多農少。徽商雖有錢，但水運時時梗阻，常有手握金珠而餓死的。近八九年因清軍與太平軍在這裏往來作戰20餘次，地方上損失嚴重。左宗棠到婺後，看到人物凋殘，遺黎皮骨僅存，慨歎不已。他寫信告知孝威說：“湖南在東南是一塊福地，你們沒有經曆過戰爭的殘酷，哪能知道人世間有如此苦難，非言語所能盡。因此告知你們一點情況。”