考慮到了種種難處之後，他便一邊寫信拒絕了張亮基的邀請；一邊寫折子，讓張亮基代發，辭謝皇帝的聖意，並請求在籍守製三年。
沒想到，就在這個時候，太平軍攻克了武漢，很快就要反攻湖南。這使得剛坐到湖南巡撫寶座上屁股還沒熱的張亮基急得像熱鍋上的螞蟻，立馬命郭嵩燾連夜趕往曾家，勸說曾國藩出山。
恰巧在這一天，好友郭嵩燾趕到湘鄉為曾母吊唁。縣令朱孫詒清楚郭與曾的關係非常，故不敢怠慢，立即傳官轎送郭嵩燾前往曾家。120裏的路，郭嵩燾趕到曾家時已是深夜。兩人秉燭暢敘，當談及時事時，曾國藩說自己要守製，不能出來主持團練。郭嵩燾說，素知曾國藩野心勃勃，以整治封建秩序為己任，現在麵臨“亂世出英雄”的機會，你為什麼不大大施展抱負，盡忠皇帝呢？郭又拿出“古已有之”的例子來說服曾國藩，情真意切，不可言表，給標榜“忠孝”的曾國藩一個很好的台階下，但曾國藩為了表示盡孝的“決心”，仍表示不同意。郭嵩燾又反複與曾國藩的父親談“保衛家鄉”的大道理，曾父認為講得對，便把曾國藩叫到麵前教訓了一番。曾國藩這才應允。但多日不見起行。郭嵩燾又同他的弟弟郭昆燾一同前往曾家勸說，但曾國藩卻以郭氏兄弟入幕參讚其事為先決條件，郭嵩燾隻好答應。此後四年，郭嵩燾大部分時間都在曾國藩幕府中度過，成為湘軍初創、曾國藩“大業”初起時的主要人物之一。
除了“忠”“孝”不能兩全的矛盾外，曾國藩還是一個十分務實的人，他深知自己講理學、佐朝政尚可稱職，而對於兵法陣戰、練兵打仗可以說是個外行，而且，打仗是人命關天的事，與寫寫文章不同。尤其是現在朝廷讓地方鄉紳自籌餉項，而自己平素所交之人，大多貧寒之家，拿不出銀子，也招不到兵、勇。因此，當鄉間名流好友及巡撫大員一再請他出山時，他最初均表拒絕。鹹豐二年十一月，他就在寫給劉蓉的信中，將他之所以遲遲不赴團練局的原因一一寫明。
曾國藩辦事講究條理，往往從最根本處講求。讓一個身帶墨孝的人出入鄉紳富戶之家，是對先人不孝，對他人不恭。況且，他的“人力資源”對於籌集餉項可以說沒有大補。但是曾國藩又是一個有責任感的人。他對劉蓉說：“國藩居湘鄉之土，為湘鄉之民，義不可不同心合力保護桑梓，擬於百日之後前赴縣門，以明同舟共濟之義。”隨即提出自己的意見：“鄙意以為壯勇貴精而不貴多，設局宜合而不宜分”，認為“但得敢死之士四百人，則固可以一戰。”
12月15日，曾國藩又給他的內兄歐陽秉銓寫去一信，請他前往京師，幫助將家眷接回湘鄉，他還說自己在家服喪僅滿四月，家中諸事尚未料理，此時若立即出山辦理官事，則不孝之罪滋大。“且所辦之事亦難尋頭緒，若其認真督辦，必須遍走各縣，號召紳耆，勸其捐資集事，恐為益僅十之二，而擾累者十之八；若不甚認真，不過安坐省城，使軍需局內多一項供應，各官多一處應酬而已。再四思維，實無裨於國事，是以具折陳情，懇乞終製。”為了取得昔日友好對他內心苦楚的理解，他還將折稿寄到京師，請內兄轉交“相好中如袁、毛、黎、黃、王、袁、龐諸君，盡可令其一閱。此外如邵蕙西、李少荃、王雁汀、呂鶴田有欲閱者，亦可一閱。蓋欲使知交中諒我寸心，不必登諸薦牘，令我出而辦事，陷於不孝也。”
由此可見，曾國藩對出山辦團練的困難考慮得十分細致、具體。這也可以看出他是一個務實的人。
在領命前去經辦團練之前，曾國藩首先要安頓好家中之事。獲知曾國藩要出山後，他的四個弟弟都要求隨他離家參戰，但他隻答應帶曾國葆一人離家，並叮囑曾國荃、曾國華先在家守孝，等待更佳的時機再出來幫忙。
一切安排停當後，曾國藩再祭母靈，請求逝世的母親的在天之靈能諒解他難盡孝道之舉。為了對國家盡忠，他決定“墨絰（dié）出山”，去迎接那不可預知的未來。