鹹豐頓了頓，又說：“傳諭徐廣縉，賽尚阿自統領大兵以來，日久無功，朕早就擔心他性情過於慈柔，賞罰未必都能妥當，以致將官人心渙散，不肯用命，更擔心他被賊匪看出破綻，動輒中其奸計。朕給了他遏必隆刀，他卻不知如何使用。徐廣縉沉毅有為，朕所深悉，現在湖南逆焰鴟張，情形甚為吃重，朕已明降諭旨，令徐廣縉統兵前往湖南會剿，叫他迅速統領高州鎮總兵福興的幾千名得勝之兵，馳赴衡州一帶，扼要部署，不得稍有延誤！並將此旨宣示賽尚阿，叫他立即將欽差大臣關防交徐廣縉祈領，軍營及地方文武各員，全部歸徐廣縉指揮。徐廣縉一定要執行軍紀，嚴明賞罰，以期壁壘一新，迅殄群醜，解除朕的南顧之憂！”
鹹豐又命軍機大臣傳諭葉名琛：徐廣縉奉旨從廣西帶兵馳赴湖南會剿，他的兩廣總督和欽差大臣關防，由葉名琛代理，廣東巡撫則由柏貴暫代。湖南與廣東交界地方防堵緊要，葉名琛務必嚴令提鎮及地方文武隨時偵探，扼要設防，倘需越境夾擊，不要拘泥轄地之分，一定要迅速出擊，以免貽誤戰機。
官軍在廣西和湖南的節節失利，引起輿論嘩然。那些置身事外的官員們看不下去了，紛紛要求製裁前線玩忽職守的各級官員。
七月二十五日，正紅旗蒙古副都統阿彥達上奏，就湖南軍務向皇帝提出四條建議。第一要審察地勢；第二要裁汰鄉勇；第三要嚴明紀律；第四要嚴行法令。此人有心挽救危局，但他所提的建議，大多為老生常談。第二條建議裁汰鄉勇，更是不明事理。前線的鄉勇作戰最為勇敢，已是公認的事實，他卻一點也不明白。唯獨最後一條建議，頗有一些見地。他提出，廣西軍營每獲勝仗，主管大臣保奏的勇往出力者，往往多至數十人，而在失敗的時候，從來沒有聽說將誰以軍法從事。賽尚阿等人的奏參，都是要求將觸犯軍法的人留營差委，以觀後效。對於失守城池的地方文武，多數是找借口為他們開脫，不加重懲。他提議對於桀驁不馴、推諉不前及防守不力、失陷疆土者，根據情節重輕，依照軍法，立予
重懲。
同一天，江南道監察禦史黎吉雲參劾湖廣總督程矞采。黎吉雲是湘潭人，也是左宗棠的朋友。他在北京經常收到湖南的來信，比較了解前線的情況。他說，程矞采去年奉命馳往廣西防堵，卻賴在衡州不走，離廣西邊界還有三四百裏之遙。他在衡州駐紮幾近一年，既不結寨築堡，也不守險設伏。當逆賊攻破全州，渡過黃沙河抵達永州時，他卻於四月二十五日微服乘小船離開衡州。城中官民哭泣挽留，他拂袖而去。到了長沙，聽說逆賊未能攻破永州，他又於五月四日返回衡州。自從他離開衡州之後，沿途各地驚傳“製軍逃走”，都以為永州已經陷落，居民跟著逃跑，老弱婦女投河而死者不計其數。賊蹤尚遠，該督隨意一動，便導致幾個縣的居民受害至此。
黎吉雲接著又參劾賽尚阿。湖南的來信，多言賽尚阿現在患病，恐非憑空捏造。賽尚阿陳奏逆匪不能窺伺寧遠，又說“逆匪竄往下灌，遊弋屯聚”。下灌就是寧遠所屬之地，賽尚阿連這一點都不知道，明顯是精力不濟。賽尚阿擔負著如此重任，如果已經患病，就不適合擔任戰場的總指揮，否則會貽誤軍情。
連續兩條參劾，都是針對湖南前線的最高官員。鹹豐已經意識到賽尚阿和程矞采不能再用，但他手上確實沒有更為合適的人選。他唯一的指望就是徐廣縉早日到湖南接任，向榮早一點重上前線。
然而向榮還是不願體察聖上的深意。徐廣縉忍無可忍，他也不得不參劾向榮一本。他於七月十一日奉到諭旨之後，給向榮發去公文，令向榮接印任事，向榮寫信答複：皇上的聖諭，勞崇光已經轉達，無奈我這病一時半會好不了，請求製軍大人代為奏請開缺。此信令徐廣縉大為驚駭。好個向榮，你犯了那麼大的過錯，皇上既往不咎，反而重新起用，聖恩高天厚地，你自己於六月二十七日先已接印任事，七月六日奉到上諭之後，竟然又借口推脫，實屬喪心病狂！不行，我要懇請皇上將他革職，發往新疆，充當苦差。賽尚阿一直不肯處理向榮，現在就由老夫來做這個惡人吧！