曾國藩與左宗棠二人的首次合作是十分順利的。曾國藩總覽天下大勢，斷定此時大清王朝的正規軍不管是八旗還是綠營都已經徹底腐敗，要想平定太平天國，就必須赤地立新，編練一支全新的武裝。所以到長沙不久，他就上了一道後來被認為是湘軍成立之標誌的奏折：\"今欲改弦更張，總宜以練兵為要務。臣擬現在訓練章程，宜參仿前明戚繼光、近人傅鼐成法。\"
所謂英雄所見略同。就在曾國藩上這道著名的折子前三天，湖南巡撫張亮基也上過一道內容相似的折子，提出：
委明幹官紳，選募......鄉勇一二千名，即由紳士管帶，仿前明戚繼光束伍之法行之。所費不及客兵之半，遇有緩急，較客兵尤為可恃。
由於張亮基對左宗棠的重用和幾乎言聽計從的信任，可以說，張亮基的折子，其實就是左宗棠的折子。這道折子證明，創立湘軍的想法，其發明權不能由曾國藩獨有，起碼應該說是曾、左二人共享的。
除此之外，此二人還在另一個問題上不謀而合，那就是要加強湖南防衛，應該從掃清湖南境內的土匪入手。這樣的話，如果太平軍再次進入湖南，就不會再得到本省土匪的呼應。
兩人同心，其利斷金。更何況是曾國藩和左宗棠二人呢！二人計議已定，具體事務交由曾國藩來操作，而左宗棠則在調人用兵和辦公經費方麵多方協助。
曾國藩初涉軍事領域，兩眼漆黑，幸虧左宗棠向他推薦了塔齊布作為幫手。塔齊步為人忠勇，做事負責，後來成為湘軍一員名將，對曾國藩幫助極大。對於左宗棠所做的這些，曾國藩十分感激。
在這段時間裏，曾、左二人往來信函極多，曾國藩探討軍務的信件幹脆不再寄給巡撫張亮基，而是直接寫給左宗棠，對左宗棠的稱呼也從客氣的\"尊兄\"變成了親切的\"仁弟\"，這顯示出兩人關係的日益親密。
太平軍在長沙城下屢屢受挫後，便計劃放棄長沙城，繞城而走繼續北上。於是，太平軍夜渡湘江，隨後又攻占了嶽州。太平軍北上之後，長沙之圍自然解除，左宗棠決定繼續協助張亮基專心整頓本省治安。
張亮基曾說，他隻有三個人可以完全依靠，其中就包括左宗棠。左宗棠因功，得旨以知縣用，並加同知銜。在清廷將張亮基升調代理湖廣總督後，左宗棠選擇隨張亮基離開長沙，赴武昌湖廣總督衙門，仍做張亮基的幕僚，助張亮基籌劃湖廣地區的軍事並整頓當地的吏治。
駱秉章調任湖南巡撫後，因左宗棠此前謀劃有功，請旨將他以同知直隸州選用。左宗棠大力推辭，因而未獲官職。左宗棠拒絕就任的原因有很多，也許他認為以自己的能力去就任那個職務頗有些大材小用了。畢竟，左宗棠總愛自比\"今亮\"，認為自己就是具有經天緯地之才的當世諸葛亮。
在張亮基奉命調補山東巡撫一職後，左宗棠辭歸湖南，歸居湘陰縣東山白水洞。左宗棠與張亮基私交甚篤，在同治十年張亮基病故後，左宗棠特為其作《雲貴總督張公墓誌銘》。