張邦昌應該是在金的保護之下統治河南百姓的人，而宋的殘存政權卻恣意將之殺害。不對宋加以懲處，金國的權威豈不掃地？
此次派遣軍隊的目的，在於對殺害金國藩屏之大楚皇帝的凶徒興師問罪。將在遼東的舊宋二廢帝及其家族家臣，移至更偏僻之地。——金以此對天下宣言。
金軍以排山倒海之勢南下。高宗氣得直發抖。李綱是精忠而絕對無私的人——這一點高宗知道得很清楚。正因為如此，高宗無法對李綱正麵發怒。
對李綱所主張的事，沒有一個人能表示反對。那是一種理想論，實際上，李綱正是個理想主義者。現實與理想相距甚遠，而李綱根本不想正眼麵對現實。
高宗的父親（徽宗）、母親（韋妃）和妻子（邢氏）都被帶到金國。由於李綱害死張邦昌，金國現在要將舊宋俘虜群移到更偏北之處。聽說那是酷寒之地。
殺害金所擁立的張邦昌，一定會受到報複，這是任何人都能想象得到的。
如果是你的父母親、妻子或兄弟以俘虜身份在金國，你做得出同樣的事情嗎？高宗真想如此問李綱。
高宗當時以使節身份在國外，他的妻子邢氏則留在開封，因而以親王妃身份被拉走。
除了父母親和妻子被移至僻地受苦以外，河南住民也因金國大軍南下而再受生靈塗炭之苦。高宗政權也麵臨危急存亡之深淵。
“現在必須避難於東南之地，絕不可留在此地。”宰相汪伯彥如此進言。這個人因於任相州知事時，曾經將康王時代的高宗由磁州迎接至相州而晉升為宰相。東南之地指江南而言。
“不可如此。”作此發言的又是李綱。“晉因受夷狄之攻打而遷都東南之地金陵，結果從此未能返回中原。宋、齊、梁、陳等南朝素以複歸中原為職誌，卻未有一個王朝如願以償。倘若以避亂為目的，應該前往西才對。唐玄宗避亂於西方蜀地，結果得以光複中原。當然最好是不要遷都。留在中原，由陛下親征，大宋士民不知將因此而何等奮起。微臣出身東南，私情而論應該歡迎陛下南遷，但這不是論私情的時候。”
自己主張的事情一定會被接受——他有這個自信。但出乎意料的是，他聽到的是高宗如下的話：“不行！朕要立刻遷移東南之地！”
此刻的高宗真想對李綱吼出一句：你有資格談私情嗎？
父母親、妻子和兄弟被帶到金國是他的私情。李綱對這一點表示過任何關懷嗎？
“東南之地……”李綱想再度展開辯論而語塞。高宗的表情如此險惡，這是李綱從未見過的。這副表情與其說是險惡，不如說是充滿憎惡。
“你看不見眼前發生的事情，是不是？”高宗狠狠地道。這可以說是最重的叱責。
“金軍的宣言是什麼，你難道不知道嗎？……你要知道朕曾經原諒過張邦昌。守住皇祖皇宗陵域的是什麼人？是你守住的，還是被你殺害的張邦昌守住的？”高宗繼續加以叱責。
李綱連頭都不敢抬起來。
說來也夠現實，高宗毫不保留地對李綱表露不快之意後，出現了許多彈劾李綱的人。
以私意肆意殺死侍從。——第一個彈劾李綱的是侍禦使張浚。李綱以肅正綱紀為由殺死侍從宋齊愈是事實。
李綱既買馬又募兵。——於非常時期買馬募兵是當然的事情，現在連這也成為彈劾的理由。李綱遂被左遷為洞霽宮提舉。道教宮觀之提舉（管理人）一職，向來是授予退休官僚的酬庸性質的虛位。
極力主戰、曾經發動主戰派簽名運動的陳東，這次上書請求皇帝親征。此舉無異火上添油，高宗怒不可遏，陳東因而被處死刑。連未就官職的歐陽澈都因主張親征論而被殺。
這一年十月，高宗及其政權要人暫時先逃到揚州。