十二名黃衣使者也知道嶽飛此時的心情，更不想開罪嶽飛這樣赫赫有名的人物，見李若虛圓場，隨即進入大營。嶽飛先安撫好眾將後，單獨約見李若虛，道：“李司農沒有將在下的條陳和奏捷送達皇上嗎？”
李若虛道：“在下親赴行在，怎能不遞交皇上，皇上召見，在下謂皇上曰：順昌、郾城凱捷，嶽帥兵鋒直指汴京，敵人不日授首矣！中興大業堪成，而所憂者，他將不相為援也！陛下也曾親書禦劄帶給嶽帥。唉！何故班師？天心聖意非若虛所能揣度。”
嶽飛對李若虛之言不疑有他，隨即從李若虛手中接過皇上的禦劄，禦劄上寫道：“得卿十八日奏，言‘措置班師，機會誠為可惜’。卿忠義許國，言詞激切，朕心不忘。卿且少駐近便得地利處，報楊沂中、劉錡同共相度。如機會可乘，約期並進。如且休止，以觀敵釁，亦須聲援相及。楊沂中已於今月二十五起發，卿可照知，遣此親劄，諒宜體悉。”
原來，順昌大捷後，高宗趙構有意讓嶽飛班師，是司農少卿李若虛不顧矯詔之罪，支持嶽飛繼續進兵，李若虛一邊報捷，一邊親赴行在，將嶽飛的禦劄遞給高宗，嶽飛在禦劄上說：“契勘金虜重兵盡聚東京，屢經敗衄，銳氣沮喪，內外震駭。聞之諜者，虜欲棄其輜重，疾走渡河。況今豪傑向風，士卒用命，天時人事，強弱已見，功及垂成，時不再來，機難輕失。臣日夜料之熟矣，惟陛下圖之。”
看了嶽飛的禦劄，高宗大悅，在李若虛回歸前親書禦劄，讓李若虛帶給嶽飛，這就是嶽飛剛剛看到的那份禦劄。可是，李若虛前腳剛到郾城，後腳黃衣使者就到達郾城，命李若虛帶路，詔令嶽飛班師。
有了第一次矯詔，李若虛還想將金牌按下，待嶽飛攻破汴京後，再令嶽飛班師。可是，事情發展往往不像李若虛想象那樣簡單，剛剛按下第一道金牌，不消三日，聖上連發十二道金牌催令嶽飛班師，莫要說是李若虛，任誰也不敢耽擱，還算李若虛有文臣的傲骨和氣節，愣是頂住三天，換作一幹旁人，早就讓金牌當日送達。為此，嶽飛冤獄後，李若虛也因矯詔被羅汝輯彈劾，成為嶽飛的同黨，罷免官職，客死他鄉。
嶽飛見十二道金牌一道比一道急切，一道比一道措辭嚴厲，萬般無奈之下，隻得令三軍停止前行，並親書一道禦劄送於高宗，想挽回時局。曰：“臣契勘金賊近累敗衄，其虜酋四太子等皆令老小渡河。惟是賊眾尚徘徊於京城南壁一帶，近卻發八千人過河北。此正是陛下中興之機，乃金賊必亡之日，若不乘勢殄滅，恐貽後患。伏望速降指揮，令諸路之兵火急並進，庶幾早見成功。”
禦劄送出後，杳如黃鶴。十二名黃衣使者催促嶽飛班師，嶽飛不得不下令班師，消息一出，百姓紛紛湧向軍營，哭訴道：“我等戴香盆、運糧草以迎官軍，金人悉知之。相公去，我輩無噍類矣。”嶽飛走出營門，含淚取出詔書對眾人道：“金牌在此，吾不得擅留！”營門外哭聲一片，聲震原野。
鑒於當地百姓的安危，使者同意嶽飛留軍五日，掩護當地百姓遷移襄漢。大軍交由張憲班師回鄂州，按詔令，嶽飛隻身前往行在。臨行前，嶽飛將三子嶽霆帶在身邊，與馬前張保，馬後王橫經五郎關過江，並將嶽霆留在五郎關。
嶽家軍尚在班師途中，嶽飛尚未過江，得知金兀術卷土重來，被嶽家軍攻占的鄭州、懷洲、孟州、河南府等，又回到金人手裏。嶽飛隻能仰天長歎道：“所得諸郡，一旦都休！社稷江山，難以中興！乾坤世界，無由再複矣！”