林鳳祥離開歸德以後，向正西挺進，接連攻破寧陵和雎州，然後折向北進，攻破蘭儀縣，來到了黃河南岸。河南的黃河口岸都無重兵把守，林鳳祥可以很輕鬆地渡到黃河北岸。
不過，林鳳祥沒有急於過河，而是試圖打下開封。他的先鋒部隊約二千人西進陳留，於五月十三日向開封進發。
自從林鳳祥的北伐部隊離開揚州之後，相關的清廷官員都以為這隻是太平軍二三千人的小股部隊，對他們的戰鬥力估計不足。陸應轂帶領幾千人跟林鳳祥交手之後，轉戰三天，親眼見到太平軍以幾百人為一隊，有進無退，又擅長包抄官軍後背。他們從亳州抵達開封時，據陸應轂估計，兵力多達數萬人。探子提供的情報更加深了陸應轂的印象。他們說，太平軍從陳留到開封，橫排二三十裏。
陸應轂已經知道這支敵軍戰鬥力非同一般，對北京構成很大的威脅。他冒著長敵人誌氣、滅自己威風之嫌，請求皇上調集重兵防禦京畿。他說，沿途官員都說這支部隊無足輕重，都是為了粉飾太平，借以推諉責任。如今開封危在旦夕，萬一敵軍掘河灌城，則人皆魚鱉。黃河以北渡口太多，隻要敵軍占了開封，可渡者不止一處，所以河北一定要嚴密防守，北京也要早做準備，調精兵護衛京師。
陸應轂的提醒震動了北京，京城人心惶惶。鹹豐令舒興阿率領陝甘精兵四五千名馳往河南，令周天爵和勝保火速增援開封。他指望舒興阿、勝保、周天爵、托明阿及善祿這些精兵強將能夠保住河南的省會。為了穩定人心，他命令京城加強戒備，委派禦前大臣僧格林沁、步軍統領花沙納、右翼總兵達洪阿、軍機大臣穆蔭統領旗營，巡防京城。
五月十二日，林鳳祥抵達陳留，分兵攻打開封。第二天，河南布政使沈兆沄等人登城眺望，隻見太平軍從東南方向湧來，在開封東麵和南麵開炮射擊，往來攻撲，行動詭秘。沈兆沄下令用重炮還擊，林鳳祥的部隊頗有傷亡。
林鳳祥試探性地攻城，得出的結論是：城頭上炮火猛烈，攻城部隊很難渡過護城河。他明白，自己的任務是長途奔襲，而非攻堅。如今碰到有備的堅城，他立刻決定放棄攻擊，令部隊撤到幾裏之外的繁塔寺駐紮。
朱仙鎮和虎牢關
再說開封城內，守城總指揮沈兆沄無法估算攻城敵軍的兵力，但城內軍民都很惶恐，感到兵力太少，無法守住城池，居民大半出城逃避。陸應轂此時待在南邊的陳州一帶，與開封斷絕了聯係。沈兆沄隻得硬著頭皮指揮死守。他決定首先燒毀城外的房舍，不給太平軍留下攻城的前進陣地。
五月十四日黎明，沈兆沄懸賞重金，組成敢死隊，縋城而下，攜帶火彈，焚燒太平軍所占的村屋，殺死村內的餘敵。下午，太平軍的大批騎兵和步兵從東麵開來，沈兆沄以為他們要來硬攻了，連忙令守軍上城防備。不料太平軍在離城幾裏處繞道而行，隻有一些偵察兵到城下探視地形，被守軍發現，下城追擊，小有斬獲。
傍晚時分，太平軍向西南行走，在較遠的村莊集結。林鳳祥與李開芳商議，決定在開封以南四十五裏的朱仙鎮休整部隊，再謀進軍之策。這裏是傳說中嶽飛以五百精兵大敗金兵鐵騎的地方，五方雜處，商賈輻輳，人員複雜，有利於造反武裝招兵買馬。鎮西有一條賈魯河，與黃河相接，交通非常便利。
林鳳祥到了朱仙鎮，立即用黃綾寫信二封，蓋上大印，分別交給兩名信差，叫他們分頭前往揚州和金陵送信，然後叮囑道：“如果途中信已丟失，你們一定要轉稟東王，我軍力爭渡過黃河北上，若不成功，便南下打回長沙。”