正當左宗棠有望就此升騰之際，卻因卷入兩湖地區統治集團圍繞\"樊案\"所展開的一場爭權奪利之爭，而險些身敗名裂。
自1854年入幕後不久，駱秉章就對左宗棠言聽計從。按左宗棠自己的話說：\"所計畫無不立從。一切公文，畫諾而已，絕不檢校\"。由於駱秉章如此大膽放手，左宗棠也就毫不客氣，把自己當成了真巡撫，將全省官員當成自己的下屬，對那些品級很高的大員也不假顏色。
雖然在左宗棠的治下，湖南從刑名、錢穀、征兵、練勇與夫厘金、捐輸，無不布置井井，洞中機要，但他的性格和作風卻得罪了許多官員。
有一太難，永州鎮總兵樊燮因事謁見駱秉章，駱秉章讓樊燮直接去見左宗棠。樊燮自恃大員身份，又認為左宗棠隻是普通幕賓，故拒絕叩拜行禮。
清代重文輕武，左宗棠更是看不起胸無點墨的武官。左宗棠自認為是駱秉章的代表人，對輕慢於他的樊燮非常不滿，怒氣大發：\"武官見我，無論大小，皆要請安，汝何不然？\"
不料樊燮也是個倔性子，頂撞道：\"朝廷體製，未定武官見師爺請安之例，武官雖輕，我也朝廷二三品官也。\"
左宗棠平時最忌諱人家提他的\"師爺\"身份。中不了進士才給人家當師爺，這是表麵上風光無限的左宗棠內心的隱痛。他最受不了別人因為他的師爺身份而輕視自己，因此勃然大怒，起身上前就踢了樊燮一腳，嘴裏還大罵：\"王八蛋，滾出去！\"
不久，樊燮氣極而向鹹豐帝彈劾，卻因潘祖蔭等人支持左宗棠，樊燮反而被朝廷罷黜，革職回了老家。
左宗棠沒有想到的是，樊燮與湖廣總督官文關係極為密切。他向官文告狀，呈控左宗棠以幕賓的身份把持湖南軍政要務，一官兩印，囂張跋扈。官文上疏，將樊燮的誣告奏報朝廷。於是，清廷發下諭旨，令官文及湖北正考官錢寶青對左宗棠進行逮捕審辦，\"果有不法情事，可即就地正法。\"一時之間，左宗棠岌岌可危。
然而，左宗棠畢竟是一個有影響的人物，京師中許多人為解救他而積極奔走。當時，郭嵩燾以編修官職，與侍讀學士潘祖蔭同在南書房當直。樊燮指控左宗棠一案正在加緊辦理時，郭嵩燾對潘祖蔭說，如果左宗棠一走，湖南就支持不下去了，必定垮台，東南大局也就沒有指望了。於是，潘祖蔭便上一道奏本為左宗棠辯解：
楚南一軍，立功本省，援應江西、湖北、廣西、貴州，所向克捷，由駱秉章調度有方，實由左宗棠運籌決勝，此天下所共見，而久在我聖明洞鑒中也。上年逆酋石達開回竄湖南，號稱數十萬，以本省之餉，用本省之兵，不數月肅清四境。其時賊縱橫數千裏，皆在宗棠規畫之中，設使易地而觀，有潰裂不可收拾者。是國家不可一日無湖南，而湖南不可一日無左宗棠也。
宗棠為人負性剛直，嫉惡如仇，湖南不肖之員，不遂其私思，有以中傷之久矣。湖廣總督官文，惑於浮言，未免有引繩批根之處。宗棠一在籍舉人，去留無足輕重，而楚南事勢關係尤大，不得不為國家惜此才。