嶽飛並不同意秦檜的這種說法，道：“宋不取，虜人複來，宋之師行宋之地，何謂進發？此勢也，而非謀也！”嶽飛的意思：金人退卻，大宋不占領，金人勢必來占領，這些地方本來就是大宋的土地，大宋的軍隊行走在大宋土地上，何來進攻？這是大勢所趨，並非是哪個人的主意。聽了嶽飛的話，秦檜無語，知道嶽飛真的和自己不是一路人，構陷嶽飛的決心暗暗下定。
張俊則是一個見風使舵的人，他見秦檜署理樞密院，也是自己的頂頭上司。眼下，秦檜是皇上身邊的紅人，呼風喚雨，權傾朝野，回朝後，他很快就攪進秦檜一黨，成為迫害嶽飛的主要幫凶，名汙青史，遺臭萬年。
五月，朝廷派張俊和嶽飛到楚州巡視韓世忠的軍隊，張俊早就風聞韓世忠處處與秦檜作對，秦檜要拿韓世忠開刀，張俊趁機挑唆嶽飛，一同分解韓世忠的軍隊。
這一日，張俊、嶽飛到了下榻之處，對嶽飛道：“世忠忤檜，檜欲治罪，吾欲與爾分之，勢大而無患也。”嶽飛當即回絕道：“諸公當戮力以圖恢複，豈可為退保計？”聽了嶽飛的話，張俊暗暗咬牙，臉色鐵青。
此時，接待張俊、嶽飛的是韓世忠軍中總領胡紡，聽了張俊與嶽飛的對話，對二人言道：“二樞密若分世忠軍，恐至生事。”閑暇之餘，嶽飛密見韓世忠，告訴他秦檜欲陷害韓世忠的事，韓世忠非常感動，自此，主動交出兵權，買房子置地，不在理會朝政，保全了自己。
張俊回到朝中，對嶽飛更加恨之入骨，編造謊言，讓秦檜黨羽萬俟卨、羅汝楫的彈劾嶽飛，曰：“今春金人攻淮西，飛略至舒、蘄而不進，比與俊按兵淮上，又欲棄山陽而不守。”誣蔑嶽飛救援淮西“逗留不進”、主張“棄守山陽（楚州）”，要求免除嶽飛樞密副使之職。果然，高宗在接到羅汝輯、萬俟卨的彈劾後，八月九日，罷免了嶽飛的樞密副使，充“萬壽觀使”的閑職，嶽飛自請回到江州廬山舊居賦閑。
嶽飛再度結廬而居，為娘親守孝，隻有次子嶽雷時常給他送些吃食。這一日，嶽飛正在清理雜草，隻見一道身影飄到他的身旁，嶽飛定睛一看，此身影非是別人，正是愛恨糾纏的思陽妹子。嶽飛錯愕道：“原來是思陽妹子，飛有禮了！”
思陽打了個稽首道：“阿彌陀佛！這裏隻有慧愫女尼，哪來的思陽妹子！嶽施主請了！”見思陽一身女尼的打扮，嶽飛覺得自己稱她為思陽妹子，確實有些唐突，隻好期期艾艾道：“飛曾答應王真人，待軍中事了，前往峨嵋山，給思陽姑娘一個交待！”
“嶽施主想如何交待？”思陽追問道。嶽飛沉思良久道：“請求姑娘還俗，隻要姑娘不棄，飛給她一個名分。若是姑娘不肯還俗，飛就在峨嵋山下剃度，陪伴青燈古佛。”
“難道這就是嶽施主的交待嗎？貧尼問嶽施主：不管思陽願不願意還俗，那麼，陷空島上的白菱姑娘如何處置？如果思陽姑娘不肯還俗，嶽施主就此陪伴青燈古佛，那麼，江州的銀兒姑娘又怎麼辦？難道嶽施主就是想點一盞燈，滅另一盞燈嗎？”思陽詰問道。
“這……飛隻是肉體凡胎，哪能事事兼顧？飛隻能了卻一樁是一樁。”嶽飛囧困道。
“嗬嗬！嶽施主與其說‘了卻一樁是一樁’，不如說是為了兌現王真人的承諾，了卻心中的負擔而已，怕落下個不守信諾的名聲，守信一道，對嶽施主來說，恐怕勝過性命。貧尼在這裏告訴嶽施主，莫要把王真人的信諾放在心上，王真人那裏自有貧尼去說，還望嶽施主還白菱姑娘一個名分，畢竟，他身旁還有你的骨血，莫要讓愁苦之人繼續愁苦下去。”思陽悲情道。
“這……這……妹子當如何？”嶽飛急忙追問道。“妹子還是妹子，誰讓當初幹娘已經認下思陽這個閨女，隻是這個妹子已然出家，就不在是妹子了，無需嶽施主有什麼交待；不過，嶽施主目前還要對軍中之事有所交待，貧尼從淮西至此，嶽施主離開軍中之後，以牛皋、董先等人的脾氣，如何能受得了沒有嶽施主的日子，張憲又是小輩，很難說服他們，久了，恐生事端，知道的，說是將卒們意氣用事，不知道的，當說受嶽施主慫恿，請嶽施主早做打算。”思陽提醒道。
經思陽點醒，嶽飛心中一激靈，是啊！以牛皋、董先的狗脾氣，不鬧出亂子才怪。嶽飛趕忙言道：“飛不在軍中任職，不便插手軍中之事，這如何是好？”思陽言道：“這有何難？你寫份安撫信，貧尼幫你送往軍中，貧尼是跳出紅塵之人，又與眾人熟識，朝廷當不會疑。”
“就這麼辦！”說完，嶽飛找來紙筆，一氣嗬成，給張憲寫了一份信，大意是：聞軍中情緒騷動，比（指張憲）傳喻諸將，不可懈怠防務，虜人覆滅之心不死，諸將終有用武之地，爾等莫因偏激而惹禍端。閱後焚之。