李綱被罷相，宗澤憂憤而死，軍民寒心，將士意冷，恢複中原的希望完全被葬送。宗澤死後，代以杜充，杜充酷而無謀，悉反宗澤所為，“數日間將士去者十五”。在這種情勢下，金人南侵更加有恃無恐，“金人聞宗澤死，決計用兵’。建炎二年十月，宋高宗跑到揚州。十二月，以黃潛善、汪伯彥為左右相，朝廷大權完全被奸臣所掌握。此時形勢危如累卵，朝不保夕，但宋高宗卻得意地說：“潛善做左相，伯彥做右相，朕何患國事不濟！”這黃潛善、汪伯彥除了妒功害能、媚上固寵之外，實無一能，他們於禦敵大計毫無謀劃，隻知專權自恣。且高高在上，情況不明，所報皆道聽途說之辭。他們毫不負責地將城池要地委之於地方官，至於戰守之事則概不過問。他們堵塞言路，封鎖消息，言事者不納其說，請兵者不以上聞。
金兵連破州縣，日益向南逼進，淮北累有警報，而黃潛善等卻說這是寇賊李成餘黨，“無足慮者”。“北京破，議者以敵騎且來，而朝堂宴然不為備”，張浚率同列謁黃潛善等，“潛善、伯彥笑且不信”。建炎三年正月，金兵入淮陽，取徐州，破泗州。二月，下楚州（今江蘇淮安），陷天長，直逼揚州。當時高宗遣內侍鄺詢往天長軍視事，鄺詢得知金兵已至，慌忙奔還，告知高宗。高宗得報，大驚失色，急忙披甲乘馬，出門而逃，隻有五六騎相隨。“過市，市人指之曰‘官家去也！”俄有宮人自大內一湧而出，城中大亂，高宗與行人並轡而馳。時黃潛善與汪伯彥方共食，“或有問邊耗者，猶以不足畏告之。堂史大呼道：“駕行矣！”黃潛善、汪伯彥一聽，驚得魂飛魄散，相視倉皇，然後，“戎服鞭馬南騖”，拚命奔逃。當時軍民爭門而死者，不可勝數，“人無不怨憤”。“時軍民怨黃潛善刻骨”，司農卿黃鍔至江上，軍士聽說其人姓黃，以為是黃潛善，“爭數其罪，揮刃而前”，黃鍔正要辯明自己不是黃潛善，“而首已斷矣”。少卿史徽、丞範浩繼至，亦死。給事中黃哲方徒步奔走，一騎士挽弓射之，中四箭而死。左諫議大夫李處逛為亂兵所殺，太府少卿朱端友、監察禦史張灝，皆不知存亡。軍民們恨透了誤國害民的腐敗官僚。第三天，金遊騎至瓜洲，民未渡者尚有十餘萬，奔進墜江而死者近半。
宋高宗由瓜洲過江後，晝夜兼程，於第十一天，即2月13日駐蹕杭州。就是逃跑的路上，黃潛善、汪伯彥也仍然沒有忘記售其奸，他們與高宗計議，下詔尊禮已經死去的萬人唾罵的張邦昌，對張邦昌的兒子、兄長“悉令錄用”，以向金人討好。而對於李綱則欲進一步置於死地。高宗到杭州後，赦死罪以下，放還士大夫被竄斥者，但依黃潛善之言，卻要“罪綱以謝金”，隻有李綱不得赦免。
黃潛善等“猥持國柄，嫉害忠良。李綱既逐，張愨、宗澤、許景衡輩相繼貶死，憲諫一言，隨陷其罪，中外為之切齒”。早在過江南逃前，就有一些正直的官吏彈劾他們的賣國售寵之罪，但或被罷官，或遭斥逐，誰也奈何不得。宋室南渡，士民死傷無數，國庫金帑盡為敵有，從此偷安東南一隅，恢複無望，人們對黃潛善，汪伯彥更加痛恨，上自禦史諫官，下至布衣內侍，“皆劾奏之”。其中禦史中丞張澈疏劾黃、汪大罪二十，集中揭露了他們的罪惡。其大略謂；“潛善等初無措置，但固留陛下，致萬乘蒙塵，其罪一。禁止士大夫搬家，立法過嚴，議者鹹雲：‘天子六宮過江靜處，我輩豈不是人，使一旦委敵！’歸怨人主，其罪二。臼真、楚、通、泰以南州郡，皆碎於潰兵，其罪三。祖宗神主、神禦不先渡江，一旦車駕起，則僅一兩府舁致，傾搖暴露，行路酸鼻，其罪四。建炎初年，河南止破三郡，自潛善等柄任以來，直至淮上，所存無幾，其罪五。士大夫既不預知渡江之期，一旦流離，多被屠殺，其罪六。行在軍兵，津渡不時’，倉卒潰散，流毒東南，其罪七。左帑金帛甚多，不令裝載，盡為敵有，其罪八。自澶、濮至揚州，鹹被殺掠，生靈塗炭，其罪九。謝克家、李擢，俱受偽命而反進用，其罪十。潛善於王黼為相時，致位侍從，故今日侍從、卿監多王黼之客，伯彥則引用梁子美親黨，牢不可破，罪十一。職事官言時病者，皆付禦史台抄節申尚書省，壅塞言路，罪十二。用朝廷名爵以脅士大夫，罪十三。行在京師各置百司，設官重複，耗蠹國用，如以巡幸而置禦營使司，則樞密院為虛設，置提舉財用，則戶部為備員，罪十四。許景衡建渡江之議，擠之至死，罪十五。身為禦營使，多占兵衛，不避嫌疑，罪十六。敵人相跑，斥候全無，止據道塗之言為真，致引狼狽，罪十七。敵騎已近，尚敢挽留車駕，罪十八。盧益自散官中引為八座，遂進樞副；伯彥之客為起居郎，有罪補外，遂除集英修撰；二人朋比，專務欺君，罪十九。國家殆辱，不知引罪，罪二十。”