燕南飛感到言之有理，這才逐漸從痛苦之中走了出來。然而，新的痛苦、煩惱、憤怒、無奈，卻接踵而至，讓他和趙香雲措手不及，悲傷不已。
其一，李綱接任丞相之後，麵對內憂外患，深知自己責任重大，不敢有絲毫懈怠。他殫精竭慮，重整朝綱，堅持抗戰，反對議和。
首先，全麵整頓軍政。李綱根據軍政腐敗，賞罰不明，強文弱武等情況，頒布了新軍製二十一條。提出要嚴懲張邦昌及其他為金兵效勞的宋朝官員，以儆效尤。
宋高宗迫於李綱、楊時、張浚等人的壓力，隻好將張邦昌貶到潭州(今湖南長沙)。不久，他又下令：將張邦昌處死。之後，又將吳拜和莫儔斬殺，威震朝臣。
其次，李綱讓宗澤在開封整修防禦設施，又力主設置河北招撫司和河東經製司，支持河北和河南軍民的抗金鬥爭，推薦張所任河北招撫使。
並建議在沿江、沿淮、沿河兩岸，建置帥府，統一號令，增強兵力，實行縱深防禦。工作開展的如火如荼，卓有成效，使大宋軍民倍受鼓舞。
然而，李綱堅持抗戰，反對議和的思想與做法，恰恰為堅持議和的宋高宗趙構以及汪伯彥、黃潛善所不容。他們多次密謀策劃，要遏製李綱的權力。
禦史中丞顏岐，趁機火上澆油，說：“皇上，李綱為金人所惡，非常不利議和，不宜為相，請您三思啊。”
右諫議大夫範宗尹，也趁機彈劾李綱，說：“皇上，李綱名浮於實，有震主之威，不可以為相。”
宋高宗不便立即罷免李綱，他思慮再三，以國力空虛，勞民傷財，恐激怒金人為由，將李綱調任尚書左仆射兼門下侍郎，即為左相。另外委任黃潛善接任右仆射兼中書侍郎，即為右相，從而牽製李綱，極大地削弱了他的權力。
黃潛善上任之後，緊接罷免了張所，立即撤銷河北招撫司，徹底破壞了李綱原來的抗金部署，並將朝政全部顛覆。使李綱的所有努力付之東流，功虧一簣。
李綱主政僅僅七十七天，從而被迫辭去丞相之職，被貶為觀文殿大學士，提舉杭州洞霄宮。朝政大權完全落在黃潛善和汪伯彥的手中，從而斷送了抗金的大好形勢，真是可悲可歎。
不久，李綱又受殿中侍禦史張浚彈劾，被罷觀文殿大學士，但仍保留其提舉洞霄宮之職，被迫離開南京應天府，遷居鄂州（今湖北省）任職。
其二，陳東，字少陽，鎮江丹陽人。他灑脫不拘，不畏強權，直言不諱，乃是著名的太學生運動領袖。
陳東堅持不懈地與蔡京、高俅、童貫、王黼作鬥爭，在京城第一次被圍之時，他發動群眾遊行示威，迫使宋欽宗釋放了李綱和種師道，讓他們官複原職，重新主持抗金工作，從而擊退金軍，解了京城之圍，功不可沒。
陳東聽說李綱被罷免，頓時勃然大怒，立即上書請求皇上留下李綱，罷免黃潛善和汪伯彥、顏岐、範宗尹。宋高宗沒有答應陳東的要求，令他大為不滿。