錢江此來，本為投奔明主，雷以既發出邀請，他便爽快地答應下來。雷以聽從他的勸告，拉起一支鄉勇，駐紮在揚州以東約三十裏處的仙女廟，幾天間招收了幾千名勇丁，募集軍餉幾十萬兩，軍威大振。
鹹豐得知雷以自告奮勇組建部隊，靠近揚州前線，兼守裏下河門戶，果然大為讚賞。自從洪秀全造反，多數官員避之唯恐不及，難得有這麼一名文官自請拿起武器，主動向前線靠攏。
惠成的兒子晉康與雷以一同辦差，主動請戰。雷以和他駐紮在萬福橋，控扼了揚州的東南方。太平軍得知裏下河地區非常富有，企圖取道萬福橋向這一地區推進，都遭到雷以鄉勇的阻擊，無法過橋向東推進，官軍得以保全通泰的十幾座城鎮。
雷以一開手就做得如此順利，又聽從錢江的勸告，向皇上報告：清淮東路募勇籌餉，大有可為，不但可以守住裏下河的門戶，還能牽製敵軍北竄之路。
鹹豐大喜，授予雷以很大的權限，令他一麵設法保衛裏下河，一麵同漕運總督楊以增嚴密巡查河岸。勝保離開揚州後，鹹豐任命雷以為刑部右侍郎，頂替勝保在琦善的江北大營幫辦軍務，做了琦善的副統帥。
琦善不以帶兵打仗而著稱，而雷以卻是熟讀兵書。他率部到揚州城下紮營後，軍營裏徹夜打梆子，燒火堆，精心守備。奇怪的是，琦善的軍營一片寂靜，漆黑無亮，沒有火光也沒有人聲。
有一天，雷以來到琦善軍營，琦善嘴上掛著譏諷的微笑，對他說：“雷大人的軍營裏很熱鬧啊。”雷以不知琦善此話為何意，沉默不語。
過了半晌，琦善又說：“夜間防守，燃起火光，賊寇便能看見我軍；我軍敲打梆子，就聽不見外麵的聲響，這很危險啊。”
雷以一聽，頓時領悟到自己做得不妥，麵露慚色。他忽然悟到，不根據實戰情況來照搬兵書，是很危險的。
雷以抵達揚州以後，江南江北兩大營的戰事都不順利。大約在四月下旬，琦善發現一個可疑情況：新江口江麵有太平軍戰船乘風揚帆駛過三山江麵。五月二日，已有太平軍出現在安徽蒙城。陸應轂得到的情報說，此股敵軍有一萬多人，乘坐三四百號戰船。蒙城距亳州僅一百數十裏，這股太平軍威脅到河南的歸德和陳州，令陸應轂不安。他的擔心很有道理，因為這股太平軍正是楊秀清給林鳳祥派出的援兵。
從五月份以來，向榮對金陵的攻擊沒有取得進展，無以向朝廷表白，便向皇上自請治罪，作為討賊不力的反麵榜樣。鹹豐一眼就看出了向榮的小伎倆。他請求給自己治罪，不過是為了裝死老虎來逃避責任。鹹豐不吃這一套，催促他加緊收複金陵。
琦善本來有望攻進揚州城，可是由於各部無法協同作戰，初勝終敗。
琦善連日指揮部隊對揚州城進行例行的炮擊，炮兵擊塌了一丈多長的城牆。接連幾天炮擊，又將城牆缺口炸開許多。猛將雙來見有機可乘，用木棍搭建浮橋過河，支架雲梯，首先奮勇直上，率領官兵登城。
琦善在城下督戰，令陳金綬火速指揮各路部隊登城接應。陳金綬沒有趕來，倒是福濟派來二百名鄉勇助戰。這時雙來已領著十幾人登上城頭。東門那邊，福濟和查文經親自上陣，指揮部隊攻城。北麵已經登城的官軍槍矛並進，殺敵不少，又用火箭將城內房屋燒毀數處，攻擊頗為得手。可是陳金綬在西麵按兵不動，袖手旁觀。太平軍在城樓上開槍開炮反擊，拋擲火彈，燃燒了城上的席棚和城下的板屋，登上城頭的官軍被火焰熏蒸，睜不開眼。子彈擊中雙來左頰，打掉兩顆板牙。雙來暈倒在地，被兵丁扶下城牆。部隊傷亡慘重，十分危急。