1126年（北宋靖康元年）十二月，康王趙構接到宋欽宗的蠟書，在相州開河北兵馬大元帥府。趙構為河北兵馬大元帥，陳亨伯為元帥，汪伯彥、宗澤為副元帥。元帥府下編前、後、中、左、右五軍，其中前軍統製為劉浩。嶽飛屬劉浩前軍。按蠟書的命令，康王元帥府的任務是火速趕往東京（今開封），解京師之圍。嶽飛奉命帶領三百鐵騎，前往李固渡偵察，與金兵相遇發生戰鬥，大敗金兵。跟隨劉浩解了東京之圍。
1127年（北宋靖康二年）四月，金滅北宋，擄徽宗趙佶、欽宗趙桓及皇家宗室北歸。五月，康王趙構（即宋高宗）於南京繼位，史稱南宋。初期，宋高宗主張收複失地，啟用了大批主戰將領，其中就有嶽飛。嶽飛堅決反對議和，主張抗戰到底，收複失地。
1127年（南宋建炎元年），趙構即位，嶽飛上書，大意為：“陛下已登大寶，社稷有主，已足伐敵之謀，而勤王之師日集，彼方謂吾素弱，宜乘其怠擊之。黃潛善、汪伯彥輩不能承聖意恢複，奉車駕日益南，恐不足係中原之望。臣願陛下乘敵穴未固，親率六軍北渡，則將士作氣，中原可複。”宋高宗並未采納嶽飛的建議，並以越職為由將嶽飛罷官。之後嶽飛北上，入河北招討使張所軍中，借補“正八品修武郎”，充中軍統領。張所很賞識嶽飛，很快升嶽飛為“從七品武經郎”、任統製。
1127年（南宋建炎元年）九月，張所命嶽飛入王淵部，北上抗金。嶽飛作戰有勇有謀，數敗金兵，聲威大振。而王彥保守怯戰，使得嶽飛隻能孤軍奮戰，嶽飛缺軍糧時又不肯相助。嶽飛知道自己與劉豫有隙，所以複歸宗澤，為留守司統製。宗澤死後，杜充代之，嶽飛官複原職。三年，杜充將還建康，嶽飛進言：“中原地尺寸不可棄，今一舉足，此地非我有，他日欲複取之，非數十萬眾不可。”杜充不聽，嶽飛也隻能隨軍而歸。杜充守建康，金軍與叛賊李成在烏江會合，杜充閉門不出。嶽飛泣諫請視師，杜充不出。金軍遂由馬家渡渡江，杜充遣嶽飛等迎戰，諸將皆潰，唯獨嶽飛力戰。後杜充降金，諸將多行剽掠，惟嶽家軍秋毫無所犯。兀術趨杭州，嶽飛要擊至廣德境中，六戰皆捷，擒敵將王權，俘叛軍首領四十餘。嶽飛勸服王權，是指為己所用。嶽家軍駐紮在鍾村，軍中缺糧，將士們寧願挨餓，也絕不擾民。金所籍兵相謂曰：“此嶽爺爺軍。”爭來降附。
1139年（南宋紹興九年），嶽飛在鄂州（今湖北武昌）聽說宋金和議將達成，立即上書表示反對，申言“金人不可信，和好不可恃”，並直接抨擊了相國秦檜出謀劃策、用心不良的投降活動，使“秦檜銜之（抱恨）”。和議達成後，高宗趙構下令大赦，對文武大臣大加爵賞。可是，詔書下了三次，嶽飛都加以拒絕，不受開府儀同三司（一品官銜）的爵賞和三千五百戶食邑的封賜。他在辭謝中，痛切地表示反對議和：“今日之事，可危而不可安，可憂而不可賀。”後高宗對他好言相勸，嶽飛方受。此後嶽飛上表，“願定謀於全勝，期收地於兩河，唾手燕雲，終欲複仇而報國。”高宗沒有采納。
1140年（南宋紹興十年）五月，金國撕毀和議，兀術等分四道來攻。由於沒有防備，宋軍節節敗退，城池相繼失陷。隨後高宗命韓世忠、張俊、嶽飛等出師迎擊。很快，在東、西兩線均取得對金大勝，失地相繼收回。嶽飛揮兵從長江中遊挺進，實施銳不可當的反擊，他一直準備著的施展收複中原抱負的時機到來了。