宗澤去世後，宋朝失去了一位領導抗戰的忠臣，汴京的防務由杜充接任，嶽飛也歸杜充領導。
杜充是一個治軍無方、殘酷而無謀、貪生怕死的家夥，與黃潛善等人其實是一丘之貉（he）。他在擔任大名府留守之時，便無所作為。黃、汪等人將他調往汴京，是為了讓他反對宗澤的抗金之道，為同金朝妥協創造條件。杜充很自覺地做到了這一點。
杜充來到汴京後，把宗澤收複失地的戰略計劃完全拋棄了，毫不理睬兩河的抗金義士，並拒絕支援他們，致使一些抗金態度一向堅決的義軍被金兵鎮壓。其他未被鎮壓的義軍也不對杜充抱有希望，而相繼脫離抗金前線，或擁兵自保，或轉移南下。宗澤苦心經營的防務體係瞬間瓦解了。
此時的南宋朝廷正密謀與金國議和。黃潛善對高宗說，與金囯議和應該有誠意。但具體是什麼誠意，黃潛善沒說明。
宋高宗趙構想了許久，終於明白“誠意”二字的含義。於是，趙構不知廉恥地去掉皇帝尊號，改用康王的名義給金兵前線指揮官粘罕寫信，用非常謙卑的語氣說，宋朝現在已經處在堅守沒有精兵強將、撤退沒有地方可去的境地，乞求粘罕不要再追趕了。粘罕見趙構如此無能，便更加放心地發動大舉進攻。
嶽飛從淮河流域返回汴京後，以為從此可以全力抗金，實現自己以身報國的誌向了。不料剛到汴京，杜充就讓他跟隨自己南下。
嶽飛十分不滿杜充的這一決定，他知道，部隊一撤走，就意味著放棄汴京，也就是說，又將有大片的美好河山葬送於金人之手。他按捺不住自己的不滿，義正詞嚴地對杜充說，中原之地，一定要寸土必爭，況且汴京是大宋的第一京城，放棄汴京對全國抗金形勢的影響非同小可。並且說，放棄容易，收複難，若要收複汴京，恐又將犧牲幾十萬人的性命啊。
杜充毫不理眯嶽飛的規勸，反而命令他立即率師南下。在杜充的威逼之下，嶽飛違心地跟隨著浩浩蕩蕩的人馬南撤。金兵不費吹灰之力就占領了汴京，此時南宋已失去了半壁江山。
杜充威逼著嶽飛和他一起南下，一直跑到建康才停了下來。在留守建康的日子裏，嶽飛回顧自己投軍三年經曆，先後跟隨過七名主將，在抗金戰場上，始終是出生入死，浴血奮戰，然而換來的不是北進，而是不斷的南撤。因此，他的心情很是沉悶。
由於嶽飛對高宗等人的投降路線認識得還不是很清楚，以致認為宋軍的節節失利，都是由於將領的指揮不當造成的。他甚至抱怨自己不該做一個偏將，倘若當上大將，就可以指揮千軍萬馬，跨過長江，殺過黃河，趕走殘暴的金軍，迎還“二聖”。
而現在，他屈居下僚，受命於人，英雄無用武之地，隻能徒喚奈何了。