嶽和這一家，本是個自給自足的中等農民家庭，但是不幸的是無情的洪水淹沒了他們的農田，家產損失極其嚴重，從此淪為佃戶，全家的生活立刻就變得捉襟見肘。幾年以後，嶽飛添了一個弟弟嶽翱，家計就更加艱難了。這時候的嶽飛雖然年幼，但是已經擔當起了家庭的一部分責任，他很小的時候就跟隨父親下地勞動，挖土、打柴……沉重的農活使得他對農民的艱難深有體會，也讓他的性格質樸渾厚。這影響了他的一生。
嶽和夫婦在晚年喜得兩個男孩，但是，他們從不放縱孩子，而是“鞠育訓導”，既有溫暖的撫愛，又有嚴肅的管教。姚氏作為慈母，更是深明大義，克盡己責。
少年的嶽飛，從他能夠勞動之日起，就經常到野地裏去拾柴割草，供作燒飯和飼養牲畜之用。小嶽飛非常喜歡讀書，每到晚上便纏著母親教自己讀書認字，並講述一些曆史上英雄人物的事跡。嶽飛的記憶力很強，理解力也不凡，凡他讀過的書和聽過的故事，不但都能牢記不忘，而且也能從中體會出某些道理。
可由於家裏實在太窮，根本就買不起筆墨紙張。所以沒有辦法寫字，這一度讓小嶽飛十分傷心，嶽母對於孩子的勤奮看在眼裏，記在心裏，為了能給嶽飛買筆墨紙張，嶽母常常不分晝夜地做針線活，希望能夠多攢一點錢給小嶽飛買紙和筆。
為了減輕母親的負擔，小嶽飛經常幫助母親上山砍柴，換錢貼補家用。有一天，天快黑了，很多孩子在一起玩遊戲，他們遠遠看見嶽飛背著一捆柴火下山來了，就喊他過來一起玩。嶽飛看見朋友們用樹枝在地上畫格子做遊戲，受到了很大的啟發，於是匆忙地告別了朋友們，趕回家中。
嶽飛回到家中之後便迫不及待地告訴母親自己有了紙和筆，母親很是迷惑，小嶽飛趕忙從家中拿出簸箕端了滿滿一簸箕沙土，然後把沙土倒在地上弄平，拿著柳條在沙土上畫著，並告訴母親：這樣我就可以寫字了！
自此之後，嶽母便經常在空暇的時間用樹枝教小嶽飛練字，小嶽飛非常珍惜時間，經常是同伴在玩的時候，他在家裏刻苦地練習寫字，通常是寫完了抹平沙子之後重新開始。經過刻苦練習，嶽飛的學識不但有了很大的長進，而且練就了一手剛勁有力的好字。