滎陽通守郇王慶懦弱無能，急忙向朝廷求援。煬帝特地調派張須陁為滎陽通守，去討伐翟讓。張須陁是身經百戰的驍將，到了滎陽後，屢次攻破翟讓的部眾。翟讓想要逃走，李密坦然說道：“張須陁有勇無謀，又剛剛得勝，一定會驕傲，此時再戰他必敗無疑，公隻要列陣等著，李密自有妙計破他。”翟讓不得已麾眾再戰。張須陁卻早已看到翟讓，直接衝到陣前搏擊，翟讓的部眾已像驚弓之鳥，哪裏支撐得住，紛紛後退。張須陁驅兵追趕了十多裏，來到一片大樹林，林中一聲炮響，殺出兩支生力軍，左為王伯當，右為徐世勣，兩軍合攏圍住張須陁。張須陁衝出包圍，見左右還有不少人被困住，又上馬衝入重圍，想搭救餘眾。李密在高阜上望見，急忙命弓弩手四麵掃射，箭如飛蝗，可憐這一位隋朝的勇將，竟然落入李密的狡計，中箭身亡。隋軍見主帥被殺，狼狽逃走，號哭不止。河南一帶的郡縣全都喪失鬥誌。煬帝又任命光祿大夫裴仁基為河南道討捕大使，鎮守虎牢關。
翟讓經此大勝，喜出望外，於是分撥部分兵力給李密，別建一座軍營，稱為蒲山營。翟讓繳獲許多輜重甲仗，便想返回瓦崗寨，不管李密怎麼苦勸他，他就是不聽，最後竟然和李密分別了。於是李密獨自率領部眾西行，他沿路招降各城，獲得大量的軍資儲備。翟讓聽到消息很是後悔，因此又率眾跟隨李密，於是李密決定攻打東都。這時，忽然聽說太仆楊義臣擊斃張金稱、高士達，趕走了竇建德，兵勢十分強盛，李密擔心楊義臣回頭援救東都，所以不敢進攻。後來，他打探到楊義臣撤了兵，竇建德又占取了饒陽，於是決定再次進攻。這位隋太仆楊義臣原本是一個好官，他自從出兵河北，便屢次擊破群盜。偏偏內史虞世基進獻讒言，說楊義臣虛張賊勢，居心叵測。煬帝很信任虞世基，竟然派人將楊義臣追回，並且遣散他的部下。於是，賊勢再次崛起。就在這時，鄱陽又出了個悍賊林士弘，他殺死了隋禦史劉子翊，居然自稱楚帝，建元太平，占據九江、臨川、南康、宜春等郡縣，猖獗在南方一帶。涿郡虎賁郎將羅藝也起兵造反，自稱幽州總管，騷擾北境。格謙自稱燕王，後來被王世充擊敗，不幸戰死，但格謙的黨徒高開道收集殘眾，又出來掠奪燕地，氣焰囂張。光祿大夫陳棱前去討伐東海的杜伏威，又被打敗，再加魯郡的徐圓朗、馬邑的劉武周、朔方的梁師都相繼作亂，真是一波未平，一波又起，使得四方官吏無從下手，隻好得過且過，任由盜賊蜂擁而起。
李密聽說天下大亂，急欲進取東都，占據腹地，號召四方。他屢次對翟讓說道：“如今東都空虛，越王年幼，留守的將士都不是將軍的對手，如果將軍能采用我的計策，天下可定！”但翟讓還是有些懼怕，隻命令隨從裴叔方前往東都打探虛實。東都留守的官吏到了此時才有所察覺，連忙修繕城池，整軍備戰，並且火速派人通報煬帝。當時已經是大業十三年，翟讓得到裴叔方的回報，說東都已有防備，因此翟讓更加猶豫不決。李密對翟讓說道：“事已至此，不得不發。我聽說洛口糧倉豐實，如果率眾前去襲取，賑給貧民，遠近百姓必將前來歸附，到時候百萬大師也可齊聚。然後我們再廣傳檄文，招攬賢士豪傑，挑選驍將，智士勇將都已齊備，得天下就易如反掌了。”翟讓卻說道：“這是具有雄韜武略的英雄才能辦到的事情，我自己做不到，指揮部眾的事就全權交給你吧，請你率先出發，我為你墊後！”於是李密挑選三千人為前鋒，翟讓率領四千人在後跟進。他們一行人從陽城出發，向北翻越方山，直接抵達洛口倉。倉中的守卒寥寥無幾，頓時驚慌逃散。李密攻破倉門，翟讓也接踵而來，開倉發粟，窮民大悅。前朝議大夫時德叡舉尉氏縣來歸附李密，宿城令祖君彥也從昌平趕來歸附。李密因為祖君彥素有才華名氣，便封他為記室，令其掌書牘。
留守東都的越王楊侗派遣虎賁郎將劉長恭率領一萬五千名步騎來支援洛口，又派遣河南討捕使裴仁基自汜水西進，從後方夾攻李密。李密已探知消息後，將部眾分為十隊，命四隊埋伏在橫嶺下麵，派人截住裴仁基；另外六隊列陣石子河，靜等劉長恭的援軍到來。劉長恭鼓銳前來，來勢洶湧，翟讓接戰不利，隻能邊戰邊走。劉長恭的隊伍沒有吃早飯，忍饑挨餓地追趕著翟讓。中途李密率兵前來支援，劉長恭的部眾紛紛驚慌逃散，劉長恭也解衣倉皇逃回東都，隋兵十死五六，軍資器械丟了個精光。李密和翟讓自此威名大振，翟讓推舉李密為主，號稱魏公。李密登壇封吏，拜翟讓為上柱國，兼司徒東郡公。單雄信、徐世勣被封為左右大將軍。一時間，趙魏以北，江淮以南的許多賊帥都聞風依附李密。李密給他們一一封官賜爵，讓他們仍統領原來的部眾。李密將洛口城周圍四十裏地作為根據地，特設行軍元帥府分派四路兵馬奪取河南的郡縣，並授封齊郡孟讓為總管，讓他乘夜襲擊東都。
此時，河南討捕使裴仁基因為洛口一戰沒有及時趕到，很擔心朝廷降罪，因此陷入了進退兩難的境地。李密知他此時處境狼狽，便派人前去誘降。裴仁基竟然帶著虎牢關投降了李密，李密因此封他為上柱國，命他和翟讓一同襲擊洛東倉，一路暢通無阻。恰好東都出兵阻擊，裴仁基等人戰敗退了回來。李密便親自督率部眾前往洛倉，修補營壘，逼近東都。還有秦叔寶、羅士信等人原本是張須陁的部下，張須陁戰死後，秦叔寶、羅士信失去主帥，無處可依，也來投奔李密。更有程咬金、趙仁基等人也率眾歸附李密。李密勢力逐漸強大，揚名海內外，似乎興王大業要屬此人，哪知後來的真命天子，不是此李，卻是別有一李。正是：
曆代興亡幾變遷，半由人事半由天。
劉歆應讖翻遭戮，誰識玄機在事先？