王闓運說過一句話：曾國藩之前就有湘軍。另一位學者說過一個對仗的句子：李鴻章之前就有淮軍。且不管李鴻章之前的淮軍是誰幹出來的，可以肯定的是，曾國藩之前的湘軍，就是羅澤南和他的弟子們鼓搗出來的。後世人評價湘軍，如果說湘軍是反動的，那麼這個反革命的根子，就要追到羅澤南身上；如果說湘軍是進步的，那麼羅澤南就當之無愧為一個偉大的締造者。
羅澤南是個山裏人，他的字與號都體現了出生地的特色：字仲嶽，形容自己是一座高山；號羅山，是對當地峰巒羅列的寫實。他的遠祖是江西老表，從吉水遷到湖南的衡州，後來遷到湘鄉縣中裏二十九都的灣州，這個地方現在是雙峰縣石牛鄉灣州村。傳到羅嘉旦這一代，他和夫人蕭氏在這裏生下了羅澤南。
羅澤南出生時沒有留下奇異的傳說，但他小時候的聰明卻引人注目。四歲剛離繈褓，就進了學前班。老師就是他的叔叔，學校就在叔叔家裏。這個小屁孩對漢字有超強的記憶力，每學一個，都不會忘記。看到比較難認的楹聯，就仰著小腦袋，獨自觀覽，一副若有所悟的樣子。領著他去上學的祖父羅拱詩，暗暗稱奇。外祖父蕭蔗圃經常指著這個外孫對女婿說：“這個小家夥不簡單啊，家裏再窮，也要供他念書，以後必定會光大家門。”
外祖父的意思，是要靠這個外孫來改變家族一窮二白的麵貌。但他給外孫指出的道路是讀書，而不是造反。如果說貧窮是造反的動力，羅澤南一家是赤貧，按說應該對現實不滿。可是祖父對他的要求是“明大義，識綱常”。這個綱常，除了父父子子，就是君君臣臣，所以萬萬不能對抗長輩，反對朝廷。如此才能“不墜先人清德”。
羅澤南五歲正式入學，老師仍然是叔父。家裏太窮，拿不出錢來供他讀書，但是祖父和父母對他鍾愛有加，無論如何不讓他荒廢學業，於是請他的叔父擔任家教。他的表現比念學前班時更加優秀，讀書過目成誦，每天可學習一千多字的文章。直到九歲，叔父教他的水平不夠了，家裏才把他送到一位族父的私塾就學。
那時候，祖父年將七十，家業零落，四壁蕭然，甚至吃不起稠一點的稀飯。但是，老人家隻要聽到孫兒的讀書聲，便會拈須自喜，饑寒俱忘。羅澤南在學堂裏吃不飽，家長便把衣服和家什拿去典當，換來糧食給他充饑。祖父的一件布袍，他老人家親自拿去當鋪質押了六七次，都是為了供孫兒念書。隻要有了米，無論遠近，祖父都要親自送到學堂，反複對孫兒強調：“我讓你讀書，是要你明大義、識綱常，不墜先人清德。”
然而，羅家屬於赤貧，即便是全家人忍饑挨餓，也供不起孫兒的學費。羅澤南十歲又回到了叔父的私塾。這時他開始學詩，在窮得當當響的家庭環境裏，表現得才氣橫溢。他住的那間屋子，外麵是一間藥房，左鄰是一家染坊。羅少年提筆寫了一副楹聯，把藥房和染坊誇讚一番，令人嘖嘖驚歎：
生活萬家人命，染成五色文章。
孫兒展現出如此的天才，更堅定了家長們培育他成材的意誌。第二年，他們又將他送進了私塾。羅澤南閱讀《左傳》，往往自己命題，模仿該書的篇法寫傳記，內容無非戰守攻取之類，典型的秀才談兵。凡是看過羅澤南作文的人，都知道他胸中有過人的抱負。
道光元年（1821），羅澤南十四歲。有一天，母親得到一把米，舍不得吃，拿到私塾，交給澤南，叮囑道：“兒啊，今後可別忘了現在所吃的苦啊。”這句話，深深印在羅澤南的腦子裏。
母親操持著一個多子女的貧困家庭。羅澤南得到的家教，多半來自秉性淳樸厚道的母親。這個女人夙夜勤苦，對公公非常孝順，教育子女、整頓家風，井井有條。羅澤南每次從私塾回家，母親便拿儒家先聖的格言啟發他，叫他效法古人行事。母親說：“這些都是你外祖父教為娘的，你一定要牢牢記住。”