對早年曾國藩影響較大的另一個人是他的母親江氏。江氏生於乾隆五十年（1790），年長丈夫五歲。她是湘鄉興讓八都道常恬江沛霖之女，乳名“憐妹子”。出嫁後因丈夫曾麟書排行老四，故人稱麟四嫂，後稱江夫人。
江氏的乳名叫“憐妹子”，提起這一遠近皆知的稱謂還有一段“掌故”。江氏原籍江西，遷到湘鄉後，到第十二代的男主人名叫江嘉爵，康熙十年（1671）病故，卒年五十歲。按當時農村的習俗，一般而言，人死後要請風水先生卜一塊墓地安葬，以圖後代吉盛。不知是江嘉爵故去的突然，還是其他緣故，江氏卒後沒有請風水先生相“陰宅”。而安葬於湘鄉二十都上山田衝仙人山的“仙女袒膚”。風水先生說：此仙乃處女，安葬於此的人戶要“洗女”九代，即九代頭胎女孩都不能讓他活下來，否則她出嫁的男家就不興旺。有了這樣“不吉”之女，哪有人家敢娶！江嘉爵至江沛霖共六傳，繁衍了28個男孩，卻無一個女孩活下來。很顯然，在溺嬰風俗很盛的時代，江氏的許多女嬰很可能都被遺棄。而且，奇怪的是，盡管江氏六代以來生的都是男孩，卻沒有一個出仕為官的。江氏出生後，她的父親將她偷偷地丟到床下，想讓她凍餓而死。可是這個女孩的命實在太大，到半夜去看時，她仍然活著。江沛霖心中大驚，雙手癱軟，將手中拿著的東西掉到地上，打傷了自己的腳。江沛霖說：“可憐，可憐，罪過在我，你不該死呀！”江沛霖的妻子到江家後，生的這個女孩是頭胎，因此也舍不得這個親骨肉，連忙將凍得半死的孩子抱進懷裏。女兒很快就蘇醒了。家裏的人又喜又憂，喜的是女孩命長，不該死；憂的是江家將來不會興旺發達。因為女孩凍了大半夜，家人都很可憐她，因而起個乳名叫“憐妹子”，長大後改為玲妹子。
按照迷信的說法，江氏家中已“洗女”六代，或者說六代無女孩，但沒有“洗九代”。因此，很可能發男家，即江氏女孩出嫁的男家會興旺發達。說來奇怪，江氏嫁給曾麟書後，曾家真的人興財旺了。丈夫成為秀才，兒子官封一品，可謂榮華已極。因此江氏家族至今尚有人說，曾國藩家的升官發財是江氏祖先葬的這處“仙女袒膚”地。
江氏容貌秀麗，很少有脂粉習氣。少時跟她的母親即曾國藩的外婆學會了紡花、加麻線，養成了勤勞、節儉的好習慣。至10多歲時，燒茶煮飯，儼然一個男小夥，樣樣都能幹。她沒有進過學堂，卻認得一些字。由於曾國藩的祖父曾星岡經常往返於湘鄉與湘潭之間，而道常恬下瓦屋正是荷葉大界通往湘鄉、湘潭的必經之路。曾星岡路過此地時，總要到江家看望一下江沛霖。有一次，曾星岡帶著曾麟書去湘鄉，還在江家住過一夜。因此，曾、江兩家早有交情。嘉慶十一年（1806）曾麟書已16歲了，江家請人做媒，正式將女兒許配給曾家，十三年（1808）正式完婚。三年後曾國藩降生。
曾家後來的興旺發達與“洗女發男家”的傳說是否有聯係，雖已無從查考，但江氏家族尤其是曾國藩的外祖父江沛霖對曾家的影響卻是真實的。江良濟本是湘鄉處士，字沛霖，號雲峰。江氏遷到湘鄉後的曆史也充滿傳奇色彩。本來，江沛霖的祖父積蓄頗多，在當地是個有名的富人。江沛霖的父親江宏輝本是國學生，頗有豪俠氣概，加之家業豐厚，因此遠村近鄰都很怕他。比起曾家來，顯然要富裕得多。江宏輝的幾個兒子靠著上二代人的積蓄，各分得一份不小的家業，“撐持門戶，異官而居”。而江沛霖一心讀書，立誌考取功名，但多次考試都名落孫山。也許是多次經受科場失敗的打擊，江沛霖對人生有了另一種解讀，他決心“棄場屋為族之領袖”，於是“輕財好義，家遂中落”。
但江沛霖有著山裏人鐵一樣的性格，“雖然貧困不遏，其誌未少損”。將女兒許給曾家後，他對女婿曾麟書寄予厚望。曾對女婿說：“吾人為學，苟能不以外物移其誌，不以世不錄用而遷其業，但優遊漸漬，自能得乎？古人深造之義，吾知汝固能力學者，汝後嗣昌大有成，足以重為吾道之光，勉乎哉！當及見成之也。”就是說，一個家族、一個人的發達不是猝然可成的，而要經過一代又一代的傳承，像跑接力賽一樣，不能停下來。這就是“深造之義”。