嶽飛哀歎道：“是啊！為兄壯誌難酬，不得平生所願也！已經寫好乞罷軍職的奏折，不想再過問軍中事務了。”說完就要伸手點香，白菱趕忙喊道：“霖兒，趕緊過來拜見爹爹！”“哎！”嶽霖答應一聲，走到嶽飛正麵，堆金山，倒玉柱一般給嶽飛叩頭，口中喊道：“霖兒見過爹爹，願爹爹身體安康，福壽延年！”說完，一連叩了三個響頭。
嶽飛再看嶽霖，嗨！身材雖然有些瘦弱，臉型卻像從自己臉上扒下來一樣，身子骨長得結結實實，眉清目朗，兩耳垂輪，既有自己一樣的敦實，又有白菱一樣的清秀。嶽飛一把拉起嶽霖，道：“霖兒！我的好霖兒！爹爹讓你和娘吃苦了！”說完，嶽飛將嶽霖攬入懷中。嶽霖也非常乖巧，任由爹爹抱住自己，臉貼著臉，撫摸自己的後腦勺，一種從未有過的溫暖傳遍全身。
一旁的白菱眼淚如斷了線的珍珠一樣，劈哩叭啦往下掉，但臉上始終洋溢著幸福的微笑。接著，她對嶽霖道：“霖兒別再纏著爹爹了，爹爹還沒有給奶奶上香呢！”“嗯！”嶽霖答道。
這時，嶽飛才想起自己還沒有給娘親上香叩頭，遂鬆開嶽霖，取過三支丹香，用媒子點著後，對著娘親的墳頭恭恭敬敬地拜了三拜，口中不住地念叨：“娘啊！飛兒回來看您來了！飛兒不孝，沒能為您守孝三年，確因前線戰事吃緊，不得不奉詔離開！這次飛兒回來守製，打算一直守候在您身邊。”
禱告一畢，嶽飛將手中的丹香插在香爐裏，退後三步，撩衣跪倒，以頭伏地，規規矩矩給娘親叩了三個響頭。
白菱過來將嶽飛扶起，對霖兒道：“霖兒，你去山前玩耍一會兒，娘跟爹爹說會兒話。”嶽霖乖巧地離開，白菱讓嶽飛到茅舍中歇息一會兒，邊走邊問道：“嶽哥哥緣何寫了乞罷軍職的折子？難道朝廷又有變故？”
見白菱問起，嶽飛一邊走，一邊哀歎道：“唉！當今聖上，聖意不堅，狐疑不定，飛恐難伸展大誌耶！”接著，嶽飛把高宗如何詔見自己，皇上如何將劉光世軍交給自己節製，張浚、秦檜如何阻撓，張浚如何譏諷自己等等，告訴白菱。
白菱聽後，勸講道：“嶽哥哥文韜武略不遜淮陰侯，可大誌難展，甚為可惜，菱妹為嶽哥哥深表惋惜。佞臣作祟，嶽哥哥還是應該多作隱忍，不要性情過於剛烈，這樣有傷君臣之誼。若得聖上禦劄，還是以江山社稷為重。”
嶽飛知道白菱的話不無道理，可心頭的這口氣就是出不來，氣咻咻地說道：“這次無論如何也要為娘親守製期滿！”白菱說道：“既然嶽哥哥在娘親墳前守製，菱妹就留下來伺候嶽哥哥！”
“不可！在娘親墳前守製，怎可有女眷陪伴？菱妹與霖兒早早下山，回歸太湖，等娘親守製屆滿，嶽哥哥定當將菱妹與霖兒接回！”嶽飛言道。白菱無奈，隻好領霖兒下山，回歸峴空島。當嶽飛二次下得廬山後，金人再度撕毀紹興和議，嶽飛奉命領兵四伐中原，直至十二道金牌召回，也沒有實現接回嶽霖母子的誓言，嶽霖也因此躲過一劫，沒有遭到朝廷的充軍發配，這是後話暫且不表。
高宗趙構得知嶽飛在沒有禦批的情況下，自行乞罷軍職，非常震驚和氣憤。要說第一次嶽母去世，為了給娘親守製，鄧琮三詔而不起，高宗趙構雖然震驚，但不氣憤，因為，畢竟身為人子，以盡人倫，此為孝子之道，可以理解。而此次僅僅因為沒有將劉光世行營左護軍劃撥給他，他就撂挑子，這明擺著是伸手要兵權，桀驁不馴，這樣的臣子將來如何駕馭？再加上秦檜火上澆油，廷報說：“嶽飛乞罷，部將稱病，不理軍務；部曲洶洶，生異語。”高宗趙構對張浚所說“功蓋天下，威略震主”的話不疑有他。
盡管宋高宗很氣憤，但是，他還是派張宗元到鄂州軍中做宣撫判官，並帶去詔令命李若虛、王貴前往廬山請嶽飛回到軍中，還敦促鄂州將士聯名寫信讓李若虛帶給嶽飛。李若虛與王貴到了廬山，一連苦勸嶽飛六日，嶽飛方才與李若虛回到鄂州，一場君臣不快暫且煙消雲散，紹興七年十月，嶽飛二度見到高宗趙構後，嫌隙進一步加深。