曾國藩進入江西，處於客軍虛寄、仰食他人的境界，對此他早有預料，因此在上奏湘軍陸營半壁山大勝時，考慮到湘軍進入贛境，附片奏請：目下全軍將出楚境，距南省千數百裏，江湖阻隔，風信靡常，此後殊難應手。且南省供億經年，力量不繼，亦賴協濟於鄰封。湖北殘破之餘，竟難指辦。相應請旨飭下江西撫臣陳啟邁，遴委幹員，籌款開局，監製火藥，鑄造鐵子、鉛彈，由湖口解運出江，就近接濟，庶可無誤軍行。俟江省子藥辦成解到後，即可漸紓湖南省局之力。 由於軍機處廷寄的上諭“著陳啟邁即行籌款製備，趕運出江，毋稍延誤”，陳啟邁因此籌備了一些炮位，但表示需要湖南省用船帶動出湖，實際是給曾國藩出難題。為此上諭稱：“昨據陳啟邁奏，勻出大小炮位一百五十尊，谘商湖南撥船前來，就近配駕。能否即由江西本省戰船帶解出湖，徑交曾國藩等軍應用之處，亦著妥籌辦理。”顯然，陳啟邁態度不積極。
二人的矛盾還起於曾國藩奏調江西省個別官員歸其節製，引起陳啟邁的不滿。十一月，按照曾國藩的奏請，鹹豐帝令江西所派按察使惲光宸、總兵趙如勝駐軍九江境上，歸曾國藩“節製調度。”在此前後，安慶知府員缺由曾的部下李續賓補授。這也為陳所不滿。 九江久攻不下，曾國藩在奏報軍務時，指責江西的軍隊協同作戰不力。江西水師在退紮吳城時，戰船四十餘號盡被太平軍搶奪。此時太平軍在安徽仿照湘軍船艦樣式開始打造，再加上在吳城所獲之船，曾國藩認為更難以對付太平軍。實際指責陳啟邁“資敵”。他還向鹹豐帝說，湘軍與“江西咫尺，隔絕不能相通，其可慮者一也。”曾國藩的這一奏折上於湖口戰前，如此分析，湘軍湖口大敗，多少與江西方麵的配合不力有關係。
清廷在鼓勵曾國藩的同時，諭責陳啟邁：十二月十五日的上諭由軍機處六百裏加急寄至曾、塔、陳三人手中。其中據曾、塔奏，自肅清潯江後，滿可以直下九江，但因“江西兵力軟弱，未能兩路夾攻，以致驟難克服”字樣。就是說，湖北、江西“會剿”中，因江西不力，所以沒能成功。文中又有“陳啟邁所派之惲光宸、趙如勝等，均係督剿之員，何以自前月奏報籌辦會剿以後，未據該撫續行入奏？豈賊竄江境，該臬司等竟敢置之度外，專恃曾國藩等分兵應援耶？著陳啟邁一麵嚴密設防，一麵飭令惲光宸等，迅速將吳城賊匪擊敗，以便與曾國藩等軍並圖攻剿。”
陳啟邁不從自身找原因，反而認為清廷的責備都是曾國藩告的狀，因此對曾國藩更為不滿，而兩人因為勸捐籌餉之事，終成水火之勢。
當曾國藩進入江西前，江西籍刑部侍郎黃讚湯正在籍守製，他盛讚湘軍和曾國藩的行為。曾國藩於是奏請黃讚湯主持江西勸捐事務。曾國藩率軍進入江西後，黃讚湯已勸捐共達四十多萬兩。湘軍所需，基本上靠這部分銀兩。但幾個月後，在江西的湘軍軍餉又成問題，於是曾國藩讓彭壽頤負責，在南康設總厘局，在各縣設十幾個關卡，征收厘金。
正在這時，彭壽頤與萬載縣令李因為辦團練的事發生爭執，互相控告對方。曾國藩有以貌取人的毛病，也通一些相法，他見彭壽頤是才氣可用之人，因此決定將他差委到營中。但李是陳啟邁的轄官，對曾國藩這種越俎代皰的作法很不滿，於是命按察使惲光宸嚴刑考訊彭壽頤。曾國藩覺得得陳啟邁處處為難自己。
提起這位惲光宸，實際是陳啟邁的紅人。鹹豐四年他經陳啟邁奏請，帶兵勇前往武寧等地阻擊太平軍，到這年冬月移營九江，與居隆阿合營。兵、勇相合是曾國藩避忌的事，因此鹹豐帝就幾次發諭旨令惲光宸所帶勇歸曾國藩調遣。但如此一來，陳啟邁又頗為不滿，認為是越權。陳於是向曾國藩要人，理由是惲已出征半年，本任事件是由糧道鄧仁坤代辦，而鄧仁坤職任繁臣，又代辦秋審事件，實難兼顧。而目前九江帶兵大員也不少，惲光宸所帶勇三百名已歸居隆阿統轄，惲光宸可以回任趕辦秋審事件。曾國藩沒有辦法，隻好同意。不料，惲光宸剛回本任不久，就發生了嚴刑拷問彭壽頤的事。
此時的太平軍，由於石達開指揮正確，江西八府五十多個縣大多被收入太平天國版圖。陳啟邁對失去如此多的城池似乎不在意，因為自太平軍金田起義以來，占領了許多城池，丟失城池的官員還是照樣做官。但對曾國藩的諸多越權行為，陳啟邁似乎不能容忍。“調遣兵勇，意見多不合，餉尤掣肘”。
曾國藩設厘局用了彭壽頤。彭是江西地方人，陳啟邁以為這也是越權用人，且江西地麵不歸曾國藩管轄，他有何權在這裏設厘局抽厘金？於是，陳啟邁煽動地方官，與曾國藩對抗。不久，湘軍的厘局在抽厘時，查到了地方官走私鴉片，厘局扣了地方官的走私船，地方官又向陳啟邁告狀，雙方便鬧了起來。可陳啟邁不問曲直，指令地方官封了曾國藩的厘局，還把彭壽頤捆綁入獄。事情鬧得非要曾國藩出麵不可了，曾國藩率劉蓉等幕僚，到出事地點調查，查出了地方官私賣鴉片的確證。在忍無可忍之下，曾國藩向鹹豐上奏參劾了自己的同鄉同年陳啟邁。參奏的內容是曾國藩調查來的。其中既有陳啟邁顛倒黑白之事，也有陳啟邁處處掣肘曾國藩的內容，而以後者居多。曾國藩參劾陳啟邁的奏折上於鹹豐五年六月十二日，奏折開始即稱陳啟邁劣跡較多，恐誤大局，因此恭折奏聞。
曾國藩奏參的前項內容，屬於“欺君罔上，庇護私人”，涉及到總兵趙如勝、守備吳錫光。趙是已革總兵，奉旨發往新疆之員。上年奏留江省效用，陳啟邁派令管帶戰船百餘號、水勇四千餘人、大小炮位七百餘尊。十一月紮泊吳城鎮，一聞太平軍至，趙如勝首先逃奔，各兵勇紛紛獸散，全軍覆沒，船隻炮械盡為敵有。
已革守備吳錫光，係被和春參劾、奉旨正法之員。吳錫光投奔江西，陳啟邁奏留效用，倒填月日，謂留用之奏在前，正法之旨在後，多方徇庇，虛報戰功，既奏請開脫罪名，又奏保屢次超升，又奏請賞給勇號。吳錫光其人貪婪好淫，縱兵擾民。在南康時，軍中婦女至百餘之多；過樵舍時，將市肆搶掠一空，因此為遠近紳民所同惡。吳錫光還縱其麾下貴州勇無故殺死龍泉勇一百八十七名，陳啟邁既不奏聞，又不懲辦，乃於武寧縣囚內取他勇之曾經犯案者，假稱貴勇，縛而殺之，以掩眾人之耳目。曾國藩說：“自軍興以來，各路奏報，飾勝諱敗，多有不實不盡之處，久為聖明所洞鑒。然未有如陳啟邁之奏報軍情，幾無一字之不虛者。茲風不改，則九重之上，竟不得知外間之虛實安危，此尤可慮之大者也。”
關於陳啟邁不接濟湘軍糧餉，曾國藩說：“凡餉項絲毫，皆天家之餉也，又豈陳啟邁所得而私乎？乃陳啟邁借此挾製，三次谘文，迭次信函，皆雲不肯給餉，以此製人之肘而市己之恩。臣既恐無餉而兵潰，又恐不和而誤事，不得不委曲順從。”由於江西處處有警，陳啟邁調遣湘軍忽左忽右，調之保護省城，臣均已曲從之矣。旋又調之西剿義寧，臣方複函允從，而陳啟邁忽有調往湖口之信；臣又複函允從，陳啟邁“朝令夕更，反複無常，雖欲遷就曲從而有所不能。” 陳啟邁的其他“罪狀”還有：對有功團練副總彭壽頤無端捆綁，擬於重罪，指使萬載縣令李夥同其弟私販鴉片，牟取暴利；丟失江西五府二十餘縣。陳啟邁有如此多的罪狀，肯定陳的烏紗帽是保不住了。曾國藩在奏折的最後又講了他與陳啟邁的同年關係，他說：
臣與陳啟邁同鄉、同年，同官翰林，向無嫌隙，在京師時見其供職勤慎，自共事數月，觀其顛倒錯謬，迥改平日之常度，以致軍務紛亂，物論沸騰，實非微臣意料之所及。目下東南賊勢，江西、湖南最為吃重，封疆大吏，關係非輕。臣既確有所見，深恐貽誤全局，不敢不瑣敘諸事，瀆陳於聖主之前，伏惟宸衷獨斷，權衡至當，非臣下所敢妄測。
按曾國藩所奏，陳啟邁屬於嚴重溺職，欺君罔上，因此，七月二日的長篇上諭，在例舉陳啟邁“種種欺飾，實出情理之外”後，“陳啟邁著即革職，惲光宸著先行撤任，均聽候新任巡撫文俊查辦。該撫到任後，著即將曾國藩所參各情節，逐款嚴查，據實具奏，不得稍有循隱。”
本來，曾國藩以侍郎空銜領兵江西，處“客寄虛懸”地位，事事依賴地方，容易與地方官員產生矛盾。江西巡撫陳啟邁，氣度狹隘，剛愎自用，當武昌落入太平軍之手後，兩湖的錢糧、子藥來源截斷，因而全賴江西接濟。但陳啟邁由於與曾國藩有矛盾，遇事“多方掣肘，動以不肯給餉為詞”。由於陳啟邁是江西巡撫，因此上行下效，江西的官僚、士紳也與曾國藩作難。蓋有曾國藩關防的捐輸執照，不被地方官員承認。上下都有譏諷聲：說曾國藩“未奉明詔，不應稱欽差字樣”；又說“曾經革職，不應專折奏事”；說“係自請出征，不應支領官餉”等等，大有擠垮曾國藩之勢。連與曾國藩積怨很深的王，也不無同情地說：“滌帥遭際若是，直令人急煞”，“滌帥所處真是不易，其尤難者乃是餉項一節耳。” 上疏參奏陳啟邁數日後，曾國藩寫信給家人，談不得不上彈章：
我的癬病還沒有好，用心特別多，夜晚不能入睡，經常恐怕忠心耿耿的感情，最終對國事沒有益處，但是辦一天事，盡一天心，不敢有片刻的疏忽懈怠。陳中丞（陳啟邁）辦理軍務，不如人意，和我在各方麵有很多意見不合。共事和衷共濟，大概是最不容易的。澄弟近來還在外辦事沒有？應當以我為戒，不出門一步，謝絕一切。我食俸祿已很久，不得不把國家的憂患當作自己的憂患，各位老弟則都可以不聞不問時勢的紛亂與否。對兒子侄兒們總應當用勤奮教導，人一勤奮各種弊病都會被消除，希望各位賢弟留心這一點。
顯然，曾國藩還是慎重的，尤其陳啟邁是自己的同鄉、同年，他如果理由不充分，不會把彈章加給這位同僚。為了取得時人的諒解，他四處給朋僚寫信，多次表明自己的不得已之情。
六、羅澤南援鄂，處境更難
回到南康水師大營的曾國藩，還沒有從失去塔齊布的悲痛中走出來，羅澤南就單騎策馬來到這裏，提出他要率軍援鄂的請求，這使曾國藩的處境更加艱難。
羅澤南自鹹豐五年（1855）三月中旬從九江拔營轉戰於廣信、義寧等地以來，雖說攻城奪池，但旋得旋失，太平軍忽去忽來，羅澤南奔救不暇。他認為曾國藩應分軍增援武昌外圍的湖北巡撫胡林翼，一旦攻占武昌，湘軍便能水陸東下，會師九江，江西、湖北的軍事局勢才能根本好轉。七月十六日，羅澤南督率所部湘軍攻陷義寧後，便上書曾國藩指陳鄂、贛的戰略形勢說：
長江要害凡四：一曰荊州，西連巴、蜀、南並常、澧，自古以為重鎮；一曰嶽州，湖南之門戶；一曰武昌，江、漢之水所由合，四衝爭戰之地，東南數省之關鍵；一曰九江，江西之門戶。此四者，皆賊之所爭也。今九江與賊相持，而賊又已上據武昌，失長江之關鍵。崇、通一帶，群盜如毛，江西之武寧、義寧，湖南之平江、臨湘、巴陵，均無安枕之日。欲製九江之命，必由武漢而下；欲解武昌之圍，必由崇、通而入。為今之計，惟有率南康水師與潯城陸師，合力以攻湖口，橫踞大江，截賊船之上下；更選勁旅掃通城、通山、崇陽、興國之賊，乘勝合攻武昌。武昌複，外江水陸之師沿江直下，與內湖水陸之師相為聯絡，九江可不攻自下，兵家之勢固然也。
八月初七，羅澤南還親赴曾國藩駐地，在視察了南康和湖口之後，再次提出了他的意見，“賊上踞武漢，下踞金陵，相為犄角……湖口逼近江麵，為賊必爭之地，得湖口分兵以守，與賊相持無已，非長策也。為今日計，惟以複武漢為要著……計不出此，徒為爭湖口、爭九江之謀，是不過徒為江西固門戶也。”也就是說即使湘軍打下湖口、九江，在武漢沒有攻克的形勢下，仍然無法形成以上製下的態勢。他還用下棋喻戰守，對曾國藩說：“國手下棋，必爭先看，形勢所在，固有不待龜耆而後決者。”羅澤南為曾國藩指出了打破當時被動局麵的方法，必須回軍上遊，力克武漢。而要攻克武漢，又必克據上遊的崇、通、鹹寧，以攻武昌之背。因而羅澤南建議，首先攻占義寧，打通贛、鄂之間的道路。
對羅澤南的“先著”，曾國藩實際早有考慮。水師被分為兩支後，他在上奏清廷的奏折中，就為進退維穀而犯難。因為一旦回援武漢，二年多的“戰果”會得而複失，同時湘軍士氣會受大影響。到了鹹豐五年七八月份，曾國藩的處境更加危險。他倚賴的塔齊布剛剛逝去，身邊隻有李元度的幾千平江勇。而李元度沒打過仗，平江勇也沒經過訓練，他實在不放心。因此從現實上看，曾國藩心中並不希望羅澤南前往湖北。但九江已是解不開的結，長久屯師，勞兵糜餉，確也不是辦法。更何況武昌攻不下來，援軍也不能順江而下，九江就會成為死結。因此曾國藩權衡再三同意羅澤南的建議，也有自己的想法：曾國藩是個講大局的人，他還抽調塔齊布遺部參將彭三元、都司普承堯等部寶勇一千五百餘人，歸羅澤南節製調遣。同時，還派自己的好友劉蓉隨同西上，充當羅的助手。
對羅澤南援鄂，劉蓉極力反對說，你所依靠的主要是塔、羅二將，今塔已死，羅若遠走湖北，倘有不測，更賴何人？因而勸曾不要放羅走。曾國藩無可奈何地表示，羅既然要走，留是留不住的，自己隻好同意。可見，對於羅的離他而去，曾國藩口頭上雖然同意，而內心是不甚情願的。他還有寫給李元度等人的信中，指責這些人“皆舍我而獨立門戶，使我一人獨任其難，抑何不仁之甚也！”後來在回憶這段曆史時，曾國藩追述自己當時的矛盾心情說：“鹹豐五年餘率水陸駐紮南康，誌在攻破湖口一關。五、六兩年竟不能攻破，七年餘丁憂回籍，寸心以此為大憾事。羅羅山於五年八月至南康、湖口一看，知其不足以圖功，即決然舍我而去，另剿湖北。其時有識者皆佩服羅山用兵能識時務，能取遠勢。餘雖私怨羅山之棄餘而他往，而亦未嚐不服其行軍有伸有縮，有開有合也。”