晚年的江沛霖在家設館課徒，招收了幾百人。曾麟書對這位嶽丈十分敬佩，也常攜妻兒造訪江家。大約曾國藩十歲吮，曾國藩還到外祖父門下讀書。外祖父家上瓦屋旁有一口水井，據說有一次，曾國藩跟隨外祖母去提水，與表弟相擠，掉進了井裏，幸被外祖父及時得救，才沒有淹死。江沛霖晚年信佛，好行善積德，認為這是江家與曾家的祖德相報，並從外孫掉進井裏有“浸（淹）死”的可能，就以“浸死”二字的諧言預言：外孫將來一定會成“進士”。後來，曾國藩果真由翰林賜同進士出身，遠近的人們無不炫耀江良濟當年說得準。這個故事至今還在當地廣為流傳。（《曾國藩家世》，105頁）由於曾國藩文章寫得好，一年冬天，他隨父母拜謁外公時，受到外公的稱許。曾國藩二十歲時，學業已粗有成就，他的外公也更加高興。道光十四年（1834），曾國藩考中舉人，曾麟書又攜妻兒拜望已是85歲的嶽丈。曾麟書讓兒子曾國藩將他中舉的試文拿給外公看，江沛霖細細閱讀，大加讚揚，對女婿說：“吾向者固知汝後力學有大成，足以重為吾道之光，此特其發軔耳。”在江沛霖看來，隻要耕耘，就會有收獲。而外孫中舉才僅僅是個開始。這既是肯定，又是鼓勵和更高的期許，給曾麟書父子留下了一生都無法忘懷的印象。多少年後，曾麟書為自己的嶽丈刻寫墓碑時，還滿懷敬意地敘述以上之事，並說：“享年已八十五矣，其誌之不衰如此”。
一個人的成功乃至一個家族的興衰不是偶然的，而家風的影響和作用是十分重要的。人無法選擇家庭，但家庭又實實在在影響著人。以往我們過多的傾注了對曾氏家史的“挖掘”，實際上，曾國藩的外公家對曾氏家族有著不可忽略的影響。 曾國藩的母親江氏，可以說集中了中國傳統女性的許多優秀品德。 當時，曾家經濟尚不寬裕，江氏與曾國藩的父親成婚後，謹守曾門家訓，操持家務克勤克儉，家庭也漸漸興旺起來了。特別是江氏賢慧，侍奉公、婆十分殷勤。即使是阿公晚年臥床3年，她與丈夫日夜輪流守護在床邊，毫無怨言。所以曾國藩讚言：曾太夫人“來嬪曾門，事舅姑四十餘年，造次必躬，在視必恪，賓祭之儀，百方檢飭。”同時，江氏所生五男四女，“尺布寸縷，皆一手拮據”。曾國藩的父親常以“人眾家貧為慮”，而江氏總是“好作自強之言”相勸，或用“諧語以解劬苦”。她常對丈夫說：“吾家子女雖多，但某業讀，某業耕，某業工賈。吾勞於內，諸子勞於外，豈憂貧哉？”
在曾家的發達史上，江氏確實起到了相當的作用。她用自己勤勞而又智慧的雙手撐持十幾口人那樣的大家庭，如果僅僅有賢慧的美德，還是無法應付各種大小事變的。在她的身上，還有更可貴的品格，即堅韌、剛強。她與丈夫幾十年相濡以沫，尤其是公公曾星岡晚年經年臥病在床，如果沒有她的操勞和堅強，生活恐怕早就難以維繼了。江家給了曾麟書一個好妻子，也給了曾國藩一個好母親。鹹豐四年，曾麟書為嶽丈寫墓碑時，他的愛妻江氏也已病逝，在縷數江沛霖“功德”之後，他滿懷深情地讚揚自己的妻子：麟書娶公之季女。順而賢，孝而有禮，與麟書共事高堂四十有四年。攸助於艱難事苦之中，育諸子以成立，筋力亦雲瘁矣。夙夜不忘公與夫人之厚愛。因相與謀，伐石立墓，以垂不柘致無已之情。鹹豐二年，工未竣，遽別餘而逝。餘為此銘，不禁伉儷離別，有亡琴之感焉。
曾國藩一生繼承了他母親剛強的性格，敢於與困難周旋，有股衝天的倔強之氣。直到晚年，他仍說：“‘倔強’二字，卻不可少，功業文章，皆須此二字貫注其中，皆從‘倔強’二字做出。”又說他們兄弟皆稟母德居多，好處是天性“倔強”。他雖衰老，“亦勃常有不可遏之候”。他還對他的九弟曾國荃說：凡事非氣不舉，非剛不濟，即修身養家，亦須以明強為本。難禁風浪四字譬還，甚好甚慰。古來豪傑皆以此四字為大忌。吾家祖父教人，亦以懦弱無剛四字為大恥。故男兒自立，必須有倔強之氣。惟數萬人困於堅城之下，最易暗銷銳氣。弟能養數萬人之剛氣而久不銷損，此是過人之處，更宜從此加功。 從性格而言，曾國荃的性格更像他的母親，而曾國藩則集中了父母的優點。