但李元度擅長文學卻不擅帶兵，對部下更是任人唯親，一味放縱，他所領軍隊的戰鬥力並不強。隻是，由於曾國藩對他心存感激，徇情袒護，所以李元度才一再得以重用。
這次曾國藩進軍皖中，仍保奏他為徽寧池太廣道。讓其帶兵駐守徽州，為自己把守祁門的門戶，從中足見曾國藩對他的重用。但曾國藩也深知他不會帶兵打仗的底細。因此，駐守徽州之前曾一再告誡他，遇到太平軍攻城，隻可固守，絕不可出城迎戰。但李元度卻將曾國藩的告誡視如兒戲，根本不放在心上。當李世賢率太平軍進攻徽州城時，他輕率出城迎戰，後來見湘軍情勢不妙，又率先逃跑，至使全軍奔潰，徽州失守，危及祁門。李元度逃走之後，又不及時返回大營，而在浙江、江西邊境猶豫徘徊，數月不歸。最後其回到大營之後，也不束身待罪，反而理直氣壯地向糧台索要欠餉。等到餉銀拿到手，李元度一言不發，徑自率兵回湖南去了。
李元度這種目無軍紀的行為使曾國藩大為惱怒，同時又無比失望，決心參劾李元度。誰知參劾李元度的折子還沒擬好，知情的幕僚和文武參佐們紛紛進來為他說情，說曾國藩這樣做太絕情絕義，不顧前情了，其中李鴻章的反對尤為激烈指責曾國藩忘恩負義。如果一意孤行參了李元度，會讓湘軍全軍將士寒心，但曾國藩為了表現自己不徇私情、賞罰嚴明，對眾人的求情一律不允，堅持不讓步。李鴻章見自己求情不下，又遭曾國藩訓斥，隨即告辭，離開曾國藩的幕府揚長而去。
其實李鴻章早就不想在祁門呆下去了，他是個機敏異常的人，從剛到祁門的那時候起，他就知道駐紮此地是一個絕大的軍事錯誤。這次太平軍圍困祁門就是個很好的證明。另外他也清楚地看到，太平軍絕不會甘心這次的失敗，倘若再來一次包圍堵截，祁門一定會被連鍋端。李鴻章有自己的一番遠大抱負。他隻能依靠老師同上青雲，而不願與老師共存亡。現在正給了他一個離開祁門的絕好時機。因此，李鴻章趁機溜掉。
果然，沒過多久，太平軍又分三路向祁門攻來。曾國藩四麵楚歌，再一次陷於驚恐之中。可惜這次太平軍主將黃文金在與鮑超、左宗棠軍激戰時不幸負傷，隻得退回皖南。然而，渡過這次危機不久，又發生了更為嚴重的情況。先是李世賢從江西婺源向左宗棠部展開進攻，1861年3月又擊敗王開琳部，迫使湘軍退回景德鎮。與此同時，劉官芳等人又進攻出入祁門的交通孔道曆口，距曾國藩大營僅二十裏路。曾國藩又一次驚慌失措，急忙派兵增援。劉官芳退軍，曾國藩剛想出一口氣。江西方麵又傳來噩耗，李世賢攻破景德鎮，兵鋒直指祁門。曾國藩文報不通，餉道中斷，內外隔絕，又一次瀕臨絕境。此時他隻得移駐休寧，並派兵攻打徽州城，企圖從這裏打開一條能往浙江的糧道，以求死裏逃生。然而此時湘軍已亂，不聽指揮，根本無法組織起攻勢。接著，太平軍又跟蹤而至追到休寧。曾國藩無奈，隻得又退回祁門。此時，曾國藩再一次到了絕望的頂點，再次寫好遺書安排後事，準備應付最壞的情況發生。他在給兒子曾紀澤的信中稱這次境遇與幾年前湖口慘敗的情形相仿。
恰在此時，李世賢在樂平與左宗棠交戰失利，於是放棄景德鎮，東走浙江。湘軍的糧道恢複，曾國藩再一次逃了活命。這一次對曾國藩的打擊很大。從此之後，無論多麼重要的戰事，曾國藩再也不肯親臨戰場督戰指揮了。
自兵駐祁門以來，曾國藩沒過上一天安穩日子，時時感到危機四伏，無日不在驚濤駭浪中度過。因此，自進攻徽州潰敗之後，他再也不敢逞英雄，硬充好漢在祁門待下去了，乘左宗棠樂門取勝，軍情稍有好轉之機，立刻順坡下驢，趕緊離開祁門這一險地。後來移駐東流，把大營設在靠江岸停泊的大船上，由水師護衛，曾國藩才放下心來喘口粗氣，再不用過那種擔驚受怕的日子了。