高宗下了一道死命令，命令王貴等人上廬山請嶽飛下山，如果嶽飛不下山，當處死王貴和張憲等人。王貴和張憲來到東林寺後，勸說嶽飛下山，但是嶽飛堅決不同意下山。最後李綱派人對他說，你如果執意不下山，那就是跟皇帝作對，等於是逆臣。沒辦法，嶽飛這才下山。但這麼一來已經埋下了殺身之禍，高宗以前對他還隻是普通的猜忌，從此以後，猜忌升級為某種心病。
嶽飛雖然回到軍中，但宋高宗並不願意讓他北伐。君臣之間的嫌隙越來越深，如果說以前宋高宗還相信嶽飛的忠心的話，那麼現在他認為自己已經得罪了嶽飛，嶽飛在心裏一定恨自己。所以就更加不放心讓他北伐，他擔心嶽飛在北伐過程中會逐漸成為一個自己掌控不了猛虎。
為了支開嶽飛，高宗讓他回到湖北去布置江防。嶽飛雖然知道高宗是故意支開自己，但還是老老實實回到湖北。隨後，嶽飛獲知金兀術打算廢掉劉豫，立欽宗的兒子為傀儡皇帝，從而與南宋朝廷形成相抗衡的局麵。這個棋子的殺傷力遠遠比劉豫大多了，欽宗畢竟是正主，欽宗的兒子也就可以成為名正言順的皇帝。
嶽飛得知這個消息，非常擔心，準備秘密給高宗寫一封奏折，請高宗趕快立太子。說到立太子，這裏麵有個問題。高宗當時正當盛年，隻有三十一歲，可惜不能生育。因為有一次他在淫亂之時忽然聽到金兵打過來的消息，當時驚嚇過度，喪失了生育能力。後來，宋高宗在皇室宗族的壓力下，選趙匡胤的七世孫趙昚為養子。高宗雖然不能生育，但是很不甘心，他想盡一切辦法，求醫拜神，仍然希望能生子。
嶽飛入朝之時曾經見過趙昚，也許是緣分吧，嶽飛看到這個孩子就覺得喜歡，他覺得這個孩子非常聰明有天賦，將來必定能成為中興之主。所以，嶽飛想讓宋高宗盡快立趙瑗為太子。
張憲了解嶽飛的想法後，憂心忡忡地說：“立儲這樣的大事恐怕我們武將不適合參與其中吧！”
嶽飛說：“現在立儲是關係國家命運的大事，已經不是皇帝的私事了，既然是國家大事，我們做臣子的當然應該關心。”
宋高宗收到這個奏折，可以說心裏非常憤怒。嶽飛操心的是國家命運，但在高宗看來，這無非是在諷刺自己不能生育，更有甚者，莫非是希望自己早點死，好成為一個權臣。
高宗惱怒至極，但是不便對嶽飛發作，隻對嶽飛說：“你是手握重兵的武將，參與立儲之事似乎有些不妥吧！”
嶽飛事後也感覺有些不妥，心裏責怪自己考慮問題不周到，自己這麼做確實是為社稷考慮，但是皇上站在自己的角度，肯定會有其他想法。