皇帝大發雷霆，曾國藩並不感覺意外。但皇帝的嘵嘵置辯，卻讓他認識到通過苦口直諫使皇帝猛然驚醒洗心革麵是不可能的。在此之後，他還是不斷地上建議改革的奏折，不過多是就事論事，不再有類似的憨激之言了。
二
那麼，“為京師權貴所唾罵”又是怎麼回事呢？
曾國藩晚年在家書中回憶，“昔餘往年在京，好與諸有大名大位者為仇，亦未始無挺然特立不畏強禦之意。”
大名大位者之一，就是那位因鴉片戰爭而出名的琦善。琦善出身貴族，身名早達，二十歲就當了河南巡撫。一度位極人臣，在朝廷中根深蒂固。雖因鴉片戰爭而被道光“革職鎖拿，查抄家產”，但不久就獲重新起用，任陝甘總督。鹹豐即位後，有人參奏他在陝甘總督任內“妄加誅戮”，“將雍沙番族刑求逼供，殺斃多名”。皇帝命革職交刑部審訊。
雖然兩度獲罪，琦善在京中人緣卻一直很好。回到北京後，會審人員隻尋“微瑣細事”令琦善回答，實際是為他開脫罪責。刑部尚書恒春甚至要將舉報人薩迎阿的四名下屬當做罪犯抓來，與琦善一同審訊。這明顯是違反大清律的。然而對這個建議，滿朝無人反對。隻有當時兼屬刑部侍郎的曾國藩挺身而出，拍案而起，說：
琦善雖位至將相，然既奉旨查辦，則研鞫乃其職分；司員職位雖卑，無有傳入廷尉與犯官對質之理。若因此得罰，將來大員有罪，誰敢過問者？且諭旨但令會審琦善，未聞訊及司員，必欲傳訊，當奏請奉旨然後可。[ 黎庶昌：《曾國藩年譜》，第19頁。]
就是說，琦善雖然權高位重，但既然奉旨查辦他的罪行，則自然應該以罪犯待之。舉報他的那幾個司員官位雖低，現在也仍然是朝廷命官，怎麼能像罪犯一樣抓來當堂對質？如果舉報者被這樣對待，將來再有大員犯罪，誰敢過問？況且皇帝隻命會審琦善，並沒有命令兼審其司員。如果一定要傳訊司員，那必須先請旨。
曾國藩“詞氣抗厲”，“四坐為之悚動”，刑部尚書恒春不得不取消了這個動議。懾於曾國藩的剛直，鹹豐二年四月，琦善被革職，發往吉林效力贖罪。
另一個“大名大位”者是賽尚阿。鹹豐二年初，賽尚阿等因為在鎮壓太平天國起義軍過程中調度不力，日久無功而“交部議處”。朝中眾人多力圖為之寬減，隻有曾國藩“以軍務關係重大，議處罪名宜從重者，不當比照成例”。
但會議還是決定從寬處罰。曾國藩不服，“會議罷後，公專摺奏請從嚴議處。”[ 同上，第20頁。]賽尚阿因此終被革職。
本來，曾國藩在京官中人緣頗好。然而，這兩次挑戰“大名大位”者，卻令他人際關係網出現巨大破洞。因為琦善門生故舊遍天下，與穆彰阿關係也頗深。曾國藩打破了“官官相護”的潛規則，成為官場上的異類。案子審完之後，許多人與曾國藩拉開距離，甚至不再往來。他在官場上的處境愈益孤立。“諸公貴人見之或引避，至不與同席。”在背後當然更是遭到無數詆毀之詞。彈劾賽尚阿又得罪了一大批人。因此曾國藩在鹹豐二年幾乎成了京師人人唾罵的人物。
在北京在最後一段日子，曾國藩動輒得咎，精神十分痛苦，愈來愈想念家鄉了。國事頹唐，他百計奮鬥，卻絲毫無補，不免又一次萌生了退誌：
粵西事用銀已及千萬兩而無確耗，戶部日見支絀，內庫亦僅餘六百萬。時事多艱，無策以補救萬一，實可慚愧！明年擬告歸，以避屍位素餐之咎。