由於古代科技、醫學都不發達，再加上工業生產、各種賦稅，及戰爭等對人口的依賴性很大，因此古人一般都成婚比較早。為了促使農業的發展，古代多鼓勵生育，以給自己的國家壯大力量。古代女子逾時未嫁的，父母甚至要受到處罰，由官府出麵把她給許配出去。
古人是二十歲行加冠禮，意味著從此是成年人了，但是通常男子在十六七歲就成婚了，女子一般是十五歲左右。隨著時間的推移，小嶽飛漸漸地長大了，到了成婚的年紀。
嶽飛本來打算等自己功成名就後再回來娶親的，但是家人極力反對。父親想要早日抱孫子，百善孝為先，於是嶽飛便遵循父母的意見，娶了劉氏。
嶽飛的家境比較貧寒，家中並沒有很多的錢財，因此妻子劉氏應該也是一般的農家女。
嶽飛與劉氏成婚之後，第二年就生了一個兒子，取名嶽雲，這大概都是他到安陽縣韓家做“莊客”之前的事情了。
又過了七年，他們有了第二個孩子嶽雷。嶽飛和劉氏的婚姻大概持續了八年多，後來由於嶽飛長期在外當兵服役，家中有孩子和老母需要照顧，加上湯陰縣後來被金兵占領，劉氏最終撇下兩個年幼的孩子改嫁他人。
在嶽飛貧困落魄的時候，妻子劉氏拋棄了他，改嫁他人，這著實讓嶽飛十分心寒，由於家中有老母和孩子需要照顧，嶽飛便娶了第二任妻子。嶽飛第二次結婚是在二十六或二十七歲，新婦人比嶽飛要大兩三歲，是一個明事理的通情達理之人，名叫李淑貞。她不僅孝順嶽飛的老母，而且將劉氏的兒子也視為己出，之後，她還先後為嶽飛生育了嶽霖、嶽震、嶽靄（後改名嶽霆）等孩子。
雖然說嶽飛有過兩次婚姻，但是他對待婚姻十分嚴肅。在古代，有權有勢的人都是妻妾成群，嶽飛當了大將軍之後，仍是以國家利益為重，將兒女情長拋到腦後，不但生活簡樸，而且絕不娶納妾小。有一次，川陝宣撫使吳玠為了搞好同嶽飛的關係，特地送給嶽飛一個美貌女子。但嶽飛連看一眼都沒看就將她退了回去，他說：“國恥未雪，聖上宵旰不寧，豈大將宴安取樂時耶！”嶽飛與第二任妻子感情很好，據說臨死之前還佩戴著妻子送的玉佩，可見二人感情之深厚。