此時，曾國藩已疾病纏身，最甚者，為中風之疾。前次，屢屢發症。同治十一年（公元1872年）正月二十六日，曾國藩正在城外公寓內與百官會晤，司道各員環坐其旁，突然，他手腳顫抖，臉部僵硬，欲說而不能言聲，欲站而未能力支。眾人認為此為中風之症，趕緊就醫，開了處方，用藥之後稍有好轉。之後，二十七、八、九日至二月初一、二、三等日，屢有發作，曾國藩自己認為是“猶謂春日肝旺，不甚措意，晝接僚屬，夕治文牘，仍強免如常，不敢稍息”。家人卻不此般認為，他們開始為曾國藩之病事擔憂，入某時不定發生，難保無生命危險。曾國藩自己心中似乎也明白，自己大去之期不遠。此時，他並不需要家人安慰，一生研究經史，苦心作文，精於政事，勤於軍務，有太多的經曆，有太多的感悟。至於生命之輪回，自是宇宙常理，豈能由人左右。因此，曾國藩默默地靜坐著，不想有任何人騷擾，而家人在身邊不斷地絮叨著，認為曾國藩有天命，必能轉危為安，化險為夷。曾國藩也渴望能延續生命，但上天已不再給他機會，真的打算將其帶回天堂，帶有他身邊的一切榮華富貴，一切榮耀光輝，一切美好溫情。
二月初四日午後，曾國藩強支病軀，與兒子曾紀澤遊幸於署內西花園，慢步之間，曾紀澤明顯發現父親已不能支持，隨時有倒下去的危險。就在此時，曾國藩大腦突然眩暈，腳步淩亂，遂站立不穩，腿腳麻木，眼睛漸漸向上翻去。曾紀澤一把抱住父親曾國藩，一邊勸慰，一邊將其攙扶入書房。家人環繞其身邊，但他已不能說話，坐在躺椅上，任憑家人細語著。此時，曾國藩心中無盡地掙紮，仿佛被人割下一塊鵝肉般，之後，慢慢平靜，臉上看不出一絲鮮活之痕跡，書房內哄哄作響，曾國藩平靜地坐在那裏，仿佛在沉思，仿佛在回想當年之模樣，仿佛坐在軍帳中，勞頓過度，小歇片刻。當天晚上戌刻，曾國藩的心髒永遠停止了跳動，他的雙眼，在家人的一片哭喊聲中，微微閉上，越來越僵硬，再也不能睜開。到此，曾國藩真的去世了，走得很突然，很安詳。
之後，曾紀澤奉曾國藩臨終之前遺命，將遺書寫就，其中將其一生履曆回顧一遍，最後，悲愴地表示：“方冀從榮整理，補救萬一，而葵藿之誌未舒，桑榆之景薦臻，斷不敢以已治已安為粉飾承平之語。惟願我皇上敬承皇太後懿訓，兢兢業業，惟日孜孜，崇寬政以恤疲氓，紓遠謨以弭隱患。深宮益崇節儉，則軍需雖廣，而供億不勞；聖學日進高明，則幾務雖殷，而措施悉當。”無論此論是否為曾國藩口授，但卻體現出曾國藩一生治學、治政、治軍之原則。
曾國藩去世這天，正好是其父曾麟書之祭日。曾國藩幾天前即表示：吾必於父親祭日撒手人寰，可見其巧妙，甚至是神奇。傳說，曾國藩去世那天晚上，城內百姓見總督府內火光衝天，城中猶如升起太陽一般。百姓驚恐，認識是失火，遂帶上水桶之類去救火，至而無火，隻見一紅光圓如鏡麵，由西南方直衝天際，很長一段時間才黯淡下來。在別處，有人看到一顆金光閃閃隻大星隕落天際，後飛入金陵城。
凡此種種，隻能說明一個道理，那就是曾國藩一生不平凡，他是一位驚天動地的英才，是晚清政治中絕對的“重臣”。曾國藩之逝去，標誌著一代時代的落幕，同時，亦啟示著另一個時代的開始。不容否認，曾國藩乃劃時代之人物，是晚清“第一權臣”。