宗澤想了又想，忽然笑道：“你說得非常有理，老夫領兵數十年，還不如你，真將才也。”嶽飛謙謝辭出，不久便奉趙構之命，調往南京。宗澤也調為東京留守。
這時，趙構剛做皇帝，雖想收攏人心，任李綱為丞相，心中仍是畏懼金人。乃重用汪伯彥、黃潛善等奸臣，希圖與金人講和。無論何事，都怕觸怒金人，更恐金兵又作南侵，特下詔書，命長江上下流和江南各州，一齊準備行宮以備逃亡之用。宗澤幾次上疏力諫，並請趙構速回汴京以慰人心，趙構隻是下詔敷衍。
宗澤探知金人把兵力集中在真定、衛輝一帶，正在密修戰具，想要大舉南侵，心中憂慮，屢約諸將議事，想要收複失地，按照各地形勢，設立堅壁二十四所，並在東京城外，沿著河邊，設下連珠寨壘。一麵結納河東、河北、三水寨的忠義民兵。於是陝西、京東、京西的各路人馬望風歸附，都願聽受節製。
嶽飛到了南京，見趙構剛當皇帝不幾天，便聽奸臣之言，打算逃往東南避敵。心中憤慨，便上了數千言的奏疏。大意說：“陛下已登大寶，黎元有歸，社稷有主，已足以伐虜人之謀。而勤王禦營之師日集，兵已漸盛，彼方謂吾素弱，未必能敵，正宜乘其怠而擊之！而李綱、黃潛善、汪伯彥輩，不能承陛下之意，恢複故疆，迎還二聖。奉車駕日益南，又令長安、維揚、襄陽準備巡幸。有苟安之漸，無遠大之略，恐不足以係中原之望。雖使將帥之臣戮力於外，終亡成功。為今日之計，莫若請車駕還京（指汴京），罷三州巡幸之詔，乘二聖蒙塵未久、虜穴未固之際，親率六軍，逶迤北渡。則天威所臨，將帥一心，士卒作氣，中原之地，指日可複。”
趙構看了還不怎樣，汪伯彥、黃潛善看了卻是大怒，說嶽飛不該越職言事，立把官職貶去，令其歸田。嶽飛接到詔書，便帶嶽雲上路。
吉青等見還是奸臣當道，好生不平，都想告退。經嶽飛再三勸阻，並說：“宗留守現在東京。萬一南京當道不能相容，你們可尋宗留守。千萬散移不得。”
眾人全都答應，隻張憲一人，說什麼也要跟隨同回。嶽飛以前答應過他，曾有“從此同建功業，決不分離”之言，隻得應了。
嶽飛見君暗臣奸，壯誌難酬，由不得心灰意懶，一怒往湯陰趕去。到家見了嶽母，談起這次從軍經過，意欲奉母避往江漢。
嶽母正抱著孫女嶽霙，聽嶽飛說連立戰功和貶官回來經過，都是神色自若。後聽嶽飛公然說出灰心的話，立把麵色一沉道：“五郎，你真有誌氣！上次從軍，受了點小挫折回來，你便在家守了兩三年。那次說是要終父喪，情有可原。這次回家，居然說出從此歸田奉母的話，還要叫我避往江漢。我來問你，金兵如此凶惡，中原一失，江漢豈能長保？我母子全家無論逃避到哪裏，早晚也必落於敵手。要往江漢逃避，你自己去。休說我當娘的不會那樣畏敵貪生，便是我那有誌氣的兒媳，也不會跟你走。”
嶽飛從沒見過母親這樣生氣，暗忖：“我日前還請皇帝不要作南遷打算，平日也常以‘忠義’二字激勵眾兄弟，如何今日也作此想？”忙即跪下，說道：“兒子原是一時之憤，蒙娘教訓，如夢初醒。娘莫生氣，兒子改過，決不再說這樣話了。”
嶽母見張憲、嶽雲也跪在後麵，忙喚起，再向嶽飛正色道：“這不是說不說的事，你老有這類想法，就靠不住。周老恩師也當對你說過，古來的英雄豪傑，哪一個不受多少險阻艱難，困苦折磨？你今年才得二十五歲，稍受挫折便這樣壯誌消沉，非但對不起你那些共患難的弟兄，又有何麵目對周老恩師於地下呢？”
嶽飛忙賠笑道：“兒子錯了！等兒子在家小住幾天，把娘和全家遷往開封，就尋宗留守，還去殺敵便了。”
嶽母笑道：“你真能為我打算，可知我這老娘，決不肯走呢！”
嶽飛心中憂急，賠笑問道：“這裏相隔敵人甚近，許多可慮。兒子這次往投宗留守，決不再有後退之念。娘若同去，可以稍盡子職，放心得多。為什麼不肯走呢？”