由於徽州戰略地位重要，所以臨行前曾國藩不放心地對李元度說：“徽州乃皖南大城，又是祁門的屏障，長毛打徽州，是想衝破這道門，躥進祁門來，守住徽州意義重大。你千萬不要把它丟了。”
李元度毫不在乎地拍著胸脯說道：“大帥請放心，長毛撼山易，撼平江勇難。有平江勇在，徽州城絕不會缺一個角。”然而，李元度到達徽州後，並沒能守住這座門，很快便在太平軍九萬大軍的圍攻下棄城而逃。
徽州失守，祁門變成了前線。當時，曾國藩身邊僅有張運蘭的老湘營一部分及親兵營，合起來不足三千人，情形十分危急。再加上此時李秀成正率領第二次西征的南路大軍進入皖南，並於鹹豐十年(1860年)十月十八日擊敗了張運蘭一部，劉官芳所率大軍攻入安徽黔縣羊棧嶺，離曾國藩的祁門大營僅六十裏，而李世賢部則從東麵逼近祁門，黃義金部也紮在祁門西。曾國藩的祁門大營實際上已處於太平軍的團團包圍之中。
當時，曾國藩的身邊隻有不到三千人，而張運蘭被李秀成打敗之後，處境也是岌岌可危，此時已處於無暇旁顧的境地，曾國藩隻好急調鮑超前來援助。曾國藩在家信中，描述了此一窘境：“十九日來刻，石棣之賊，破羊棧嶺而入，新嶺、洞林嶺同時被破，張軍前後受敵，全局大震，比之徽州之失，更有甚焉。”曾國藩覺得此次祁門被圍，肯定是凶多吉少，便事先寫好了遺囑，祁門大營的眾幕僚也都是心慌意亂，紛紛有撤退的意思。歐陽兆雄曾描繪說：“(湘軍)至徽一戰大敗，葉小鶴副將陣亡。文正駐休寧城，羞憤不肯回答，已書遺囑，部署後事，軍中皇皇，莫知為計。”曾國藩見人心渙散，強留必定適得其反，遂聲稱願走者大營發給路費，待渡過難關後仍可回來。正當眾人不知所措之時，李秀成卻匆匆撤兵。原來，李秀成隻是借道羊棧嶺，並非想進入曾國藩的祁門大營。一場虛驚總算過去。
李秀成雖然離開了祁門，但太平軍仍有人馬停留在皖南，太平軍占領徽州，隨時還有進攻祁門的可能。所以，曾國藩命令鮑超仍然駐紮漁亭，張運蘭駐紮黲縣，來加強祁門大營的防衛。但一時間曾國藩卻無法從根本上改變兵力上的劣勢。
鹹豐十一年(1861年)正月二十八日，李世賢由休寧進占江西婺源，一舉攻占了景德鎮，劉官芳則開始進攻櫸根嶺、禾成嶺、曆口等地。曆口是祁門大營出入的通道，距曾國藩大營僅二十裏，特別是景德鎮的失守，更是切斷了祁門大營的所有對外通道，曾國藩幾乎陷於絕境。
當時，太平軍的兵力在湘軍十倍以上，湘軍則占據了有利的地勢，雙方打了三天三夜，一時還沒有分出勝負來。但是，湘勇的人數卻在一天天減少，太平軍隨時都有可能破嶺而入。看來，祁門老營的覆沒是在所難免了。
曾國藩此次處於絕境，自料難逃一死，再次寫好遺囑，並在床頭放一把劍，隨時準備兵敗自殺。祁門大營的幕僚們更是驚慌失措，整個大營到處彌漫著驚恐慌亂的氣氛。那些紙上談兵的軍機參讚們，舞文弄墨的書記文案們以及記賬算數的小吏們，亂成一團，紛紛暗中尋找生路。許多人暗暗後悔沒有早點離開。
在此生死存亡的危急時刻，曾國藩盡管已做好了最壞的準備，但他充分發揮了“獨立而不懼怕，確立而堅忍不拔”的忍道之功，表麵上仍鎮定自若。
他親擬一個告示：“當此危急之秋，有非朝廷命官而欲離祁門者，本督秉來去自願之原則，發放本月全薪和路費，撥船相送；事平後願來者，本督一律歡迎，竭誠相待，不計前嫌。”並叫文書謄抄後貼在營房外。眾幕僚見曾國藩在關鍵時刻如此鎮定，大受感動，紛紛表示願生死與共，老營“人心遂固”。正是曾國藩在生死關頭的“不懼”和“堅忍”，才激起了部屬同仇敵愾、拚死報效的決心，從而渡過了難關。