八月中，琦善報告懿律及義律已自大沽帶船回南，並相約沿途不相攻擊，靜候新派欽差到廣東與他們交涉。宣宗接了此折，就下一道上諭，一麵派琦善為欽差大臣，一麵教他“將應撤應留各兵分別核辦”，琦善遵旨將大沽的防兵分別撤留了。
九月初四，山東巡撫托渾布的奏折到了北京，報告英國兵船八隻於八月二十二日路過登州，向南行駛，托渾布買了些牛羊菜蔬“酌量賞給”。因此，“夷眾數百人一齊出艙，向岸羅拜，旋即開帆南駛。一時文武官弁及軍吏士民萬目環觀，鹹謂夷人如此恭順，實出意料之外”。宣宗以為和議確有把握，於是連下了兩道諭旨，一道“著托渾布體察情形，將前調防守各官兵酌量撤退歸伍，以節靡費”；一道寄給盛京將軍耆英、署兩江總督裕謙及廣東巡撫怡良：“著詳加酌核，將前調防守各官兵分別應撤應留，妥為辦理。”適同日閩浙總督鄧廷楨奏折到京，報告從福建調水勇八百名來浙江。宣宗就告訴他，現在已議和，福建的水勇團練應分別撤留，“以節靡費”。是則道光二十年（1840年）九月初，琦善尚在直隸總督任內，宣宗為“節省靡費”起見，已令沿海七省裁撤軍隊。
琦善於十一月六日始抵廣東，他尚在途中的時候沿海七省的撤防已經實行了。奉天、直隸、山東與戰爭無關係，可不必論，南四省中首先撤防者即江蘇。裕謙於十月三日到京的折內報告，共撤兵五千一百八十名，並且“各處所雇水陸鄉勇亦即妥為遣散”。十月十七日的報告說陸續又撤了些：“統計撤兵九千一百四十名。”廣東及浙江撤兵的奏折同於十一月一日到京，怡良說：“查虎門內外各隘口，兵勇共有萬人。督臣林則徐前次奉到諭旨，當即會同臣將次要口隘各兵陸續撤減兩千餘名。臣複移谘水陸各提鎮，將各路中可以撤減者再為酌核情勢，分別撤減以節靡費。”撤兵的上諭是九月初四發的，罷免林則徐的上諭是九月初八發的。怡良所說廣東初次撤兵是由林與他二人定奪，此說是可能的。怡良署理總督以後，又擬再撤，但未說明撤多少。伊裏布在浙江所撤的兵更多，照他的報告共撤六千八百名，共留鎮海等處防堵者五千四百名。南四省之中，唯福建無撤兵的報告。
總結來說，與鴉片戰爭有關係的四省，除福建不明外，餘三省——江蘇、浙江、廣東，均在琦善未到廣東以前，已遵照皇帝的諭旨實行撤兵。江蘇所撤者最多，浙江次之，廣東最少。廣東在虎門一帶至少撤了兩千兵勇，至多留了八千兵勇。道光二十年（1840年）秋冬之間，撤防誠有其事，並且是沿海七省共有的，但撤防的責任不能歸諸琦善，更不能歸諸他一人。
琦善未到任以前的撤防雖不能歸咎於他，他到任以後的行動是否“開門揖盜”？道光二十年（1840年）十二月和道光二十一年（1841年）二月的軍事失敗是由於琦善到任以後的撤防嗎？散漫軍心嗎？陷害忠臣嗎？
琦善初到廣東的時候，中、英已發生軍事衝突，因為中國守炮台的兵士攻擊了義律派進虎門送信而掛白旗的船隻，這不但犯了國際公法，且違了朝廷的諭旨，因為宣宗撤兵的上諭已經明言：除非外人起釁，沿海各處不得開火。琦善本可懲辦，但他的奏折內不過說：“先未迎詢來由，輒行開炮攻打，亦不免失之孟浪。”接連又說：“惟現在正值夷兵雲集諸務未定之時，方將激勵士氣，借資震懾而壯聲威。若經明白參奏，竊恐寒我將士之心，且益張夷眾桀驁之膽。”同時他一麵谘行沿海文武官吏，在未攻擊之先，須詢明來由；“一麵仍以夷情叵測，虎門係近省要隘，未便漫無提防，隨飭委署廣州府知府餘保純、副將慶宇、遊擊多隆武等前往該處，妥為密防。”是則琦善不但不願散漫軍心，且思“激勵士氣”；不僅未撤防具，且派員前往虎門“妥為密防”。
十二月初，和議暫趨決裂，琦善“遂酌調肇慶協兵五百名，令其馳赴虎門，並派委潮州鎮總兵李庭鈺，帶弁前往幫辦。又酌調督標兵五百名，順德協兵三百名，增城營兵三百名，水師提標後營兵二百名，水師提標前營兵一百五十名，永靜營兵一百名，撥赴距省六十裏之總路口、大濠頭、沙尾、獵德一帶，分別密防。並於大濠頭水口填石沉船，借以虛張聲勢，俾該夷知我有備”。總計兵一千九百五十名，不能算多，且廣州第一道防線的虎門隻五百名，虎門以內大濠頭諸地反增一千四百餘名，於此我們就可窺測琦善對軍事的態度及其所處地位的困難。
他在大沽與英人交涉的時候，就力言中國萬非英國之敵。到了廣東，他的奏折講軍備進行者甚少，講廣東軍備不可靠者反多。如在十二月初四的具折內，他說不但虎門舊有的各炮台布置不好，“即前督臣鄧廷楨、林則徐所奏鐵鏈，一經大船碰撞，亦即斷折，未足抵禦。蓋緣曆任率皆文臣，筆下雖佳，武備未諳。現在水陸將士中又絕少曾經戰陣之人，即水師提臣關天培亦情麵太軟，未足稱為驍將。而奴才才識尤劣，到此未及一月，一旦經費無出，且欲製造器械，訓練技藝，遴選人才，處處棘手，緩不濟急”。琦善對軍事既如此悲觀，故不得不和；然和議又難成，不得不有軍備，“借以虛張聲勢”，“俾該夷知我有備”；且身為總督，倘失地責不容辭。但軍備不但“緩不濟急”，且易招外人之忌，和議更易決裂，故隻能“妥為密防”，但隻能在虎門內多增軍隊，所以他猶疑不決。結果國內主戰派攻其“開門揖盜”，英人則責其無議和的誠心，不過遷延時日，以便軍備的完竣。他們說：“此種軍備進行甚速。”（Were going on with the utmost expedition.）英人采先發製人的策略，遂於十二月十五日晨攻擊大角、沙角兩炮台。