戰鬥首先在皖南打響。自鹹豐十年七月起至鹹豐十一年三月底移營東流這長達八個月的時間裏，太平軍五路大軍除陳玉成外的四路都先後進入皖南及贛北，反反複複在這裏襲擾，四處戰火，八方告急，曾國藩焦頭爛額，疲於應對，自身更四次瀕臨危境，最近的一次太平軍距祁門大營隻差二十裏，曾國藩以為覆亡在即，預先寫好遺囑，帳懸佩刀，準備在太平軍攻入時從容赴死。
而圍繞安慶之圍的皖西南布防及守衛湖北的重任則落在了胡林翼的肩上。因為安慶本是陳玉成的老巢，其家眷都陷在城中，故此五路太平軍中唯有他最關切破圍安慶。他本來同李秀成約好，兩路人馬於鹹豐十一年三月會剿湖北省城武昌，迫使湘軍撤圍安慶前去救援，以坐收圍魏救趙之效。但是陳玉成首先於皖西壽州受阻，便暫時放棄入鄂，轉而南下徑直馳援安慶，卻於桐城西南的掛車河被多隆阿及李續宜打得大敗，隨後又進攻樅陽，同樣受挫，這才重新回到合取湖北的軌道。鹹豐十一年正月二十九，陳玉成率十幾萬大軍突破胡林翼設置在安慶西北的霍山防線，大舉進入湖北，二月上旬即襲破黃州，距武漢僅一百八十裏，黃州以上，無一卒一將，武昌城內僅有兩千多一點的兵力，由於害怕太平軍入城，武昌官民逃匿一空，總辦湘軍後路糧台的閻敬銘憤極自盡，幸而未遂。胡林翼身在安徽太湖急得吐血，懊喪自己“笨人下棋，死不顧家”。所幸李秀成沒有如約前來，陳玉成放棄進軍省城而攻取其他地方，隨後又回兵安慶。及至五月，李秀成又自江西義寧進入湖北，攻占了武昌縣。此時的胡林翼癆病之症已屆晚期，每日吐血由百口至二百多口，卻強拖病體，急忙回到湖北省城，並欲將駐守掛車河陣地的多隆阿部調回湖北，但前提是必須撤了安慶之圍，而撤圍大事，必須經曾國藩同意。
對於胡林翼的撤圍要求，曾國藩早有心理準備，一是他深知胡林翼不認同圍攻安慶的決策，二是他早就發現了胡林翼易變的特點，曾在給李續宜的信中說胡林翼“於久經謀定之局，每至臨事變其初計”，認為他“德行之堅定，遠勝於往年；而主意不甚堅定，猶不免往年遊移之見”；在給四弟曾國荃的信中則稱胡林翼為“槍法忙亂”，讓四弟和李續宜從旁“婉陳而切諫之”。
至於安慶之圍，本是自己不惜同皇上抗命並力排眾議所定下的方略，以他的性情，決策時也許會瞻前顧後，集思廣益，而一旦定計，便堅毅如山，再不動搖。他反複告誡圍城的四弟：“縱使江夏（即武昌）或有疏失，安慶圍師仍不可退。”因為太平軍“縱有破鄂之勢，斷無守鄂之力，江夏縱失，尚可旋得，安慶一弛，不可複圍。”他同至親的弟弟說了一句最知心的話：“此次安慶之得失關係吾家之氣運，即關係天下之安危。”故此，當胡林翼明確提出撤圍安慶時，曾國藩自是斷然回絕。
胡林翼已經無力扭轉曾國藩的定見了。如果說太湖、潛山之役，最終由他拍板，那是因為當時的權位高於曾國藩，如今不同了，曾國藩官至兩江總督，並以欽差大臣督辦江南軍務。於是他隻有退居輔位，先爭不過決策，後爭不來調整。在這種情況下，一般的人可能會消極怠工，甚至處處掣肘。
或者畢竟身為巡撫，滿可以徑自調兵；或者幹脆撂挑子，躺倒不幹，以他那樣的身體，他有十足的理由這樣做。但是胡林翼的表現卻迥異於常人，甚至足以光照千秋。
捫虱談虎客曾談及曾國藩與胡林翼的區別：“聖賢而豪傑者，曾公也；豪傑而聖賢者，胡公也。”是說曾國藩早年刻苦修礪，求賢求聖，然後成為一代英傑；而胡林翼則天生豪傑心性，進而修煉成聖賢。早在赴貴州之前，胡林翼就曾“遍謁先塋，誓不取官中一錢自肥以貽前人羞”。鹹豐十年，胡林翼於湖北與安徽相鄰的英山臥病達半年之久，其間軍務倥傯，仍每天堅持讓幕僚為他講《論語》，及至年底，自英山移營安慶西路咽喉太湖，“冒風雪行二百餘裏，日夕支帳為邸舍，燒燭席地以講。一日病甚，不能食，左右請稍息。笑曰：“是口不能食而猶能語言，耳亦猶有聞，豈以病而廢學哉！”可見胡林翼愈到晚年，愈重視德業修行。