楊玄感的叛亂，在統治階級內部引起了強烈的震動，造成了大分裂。許多貴族官僚子弟紛紛參加。如觀王楊雄的兒子楊恭道、虞世基的兒子虞柔，來護兒的兒子來淵、裴蘊的兒子裴爽、鄭善果的兒子鄭儼，周羅喉的兒子周仲，韓擒虎的兒子韓世咢等40多人，都參加到楊玄感的軍中。右武侯大將軍李子雄也前來投奔，光祿大夫趙元淑、兵部侍郎斛斯政都和楊玄感通謀，隋名將、柱國、蒲山公李寬的兒子李密，更成為楊玄感的謀主。盡管這次起兵在隋煬帝的殘酷鎮壓下，隻曆時兩個月就失敗了，但它削弱了統治階級的力量，促使農民起義軍進一步發動起來。起義隊伍越來越多，地區越來越廣。從614年到616年間，農民起義從黃河下遊迅速擴大到黃河南北以及江南、嶺南、關中、淮南等地，局部地區起義發展成為全國性的起義。有記載的起義隊伍有130多支，參加人數達數百萬。
616年（隋大業十二年）以後，隋末農民起義發展到了高潮，在反隋的共同鬥爭中，分散的起義軍逐漸彙合成幾支強大的隊伍，這主要就是翟讓、李密領導的瓦崗軍，竇建德領導的河北起義軍和杜伏威、輔公祏領導的江淮起義軍。
瓦崗軍最初起義於瓦崗（今河南渭縣南），領導者是翟讓。翟讓出身於司法小吏，做過隋朝的東郡（治白馬，今河南渭縣）法曹，因事下獄判為死囚，後來越獄逃亡，與同郡單雄信、徐世責力等在瓦崗寨聚眾起義。徐世責力當時17歲，很有勇氣謀略。他對翟讓建議說：“東郡對我們來說都是鄉裏，人多互相認識，不應該去侵犯搶掠。滎陽、梁郡，是汴水所經過的地方，攔截河上官府和富商的財物，就足夠我們的資用了。”翟讓聽從了他的建議，帶領眾人進入二郡的邊界，搶掠官府財物，隊伍發展至萬餘人，其中很多是善使長槍馬矟的漁獵手，戰鬥力很強。不久，參加過楊玄感起兵反隋的李密前來投奔瓦崗軍。
李密在楊玄感起兵失敗後被捕，在押解途中逃走，亡匿民間，後經王伯當介紹，投奔瓦崗軍。李密說服附近一些小股的起義軍歸於瓦崗，又建議翟讓先取滎陽，休養生息，待士馬肥充，再去爭奪天下。翟讓聽從他的計策，於是攻破金隄關（今河南滎陽東北），並攻打滎陽各縣。滎陽曆來為兵家必爭之地，滎陽的得失事關全局，隋煬帝派張須陀為滎陽通守領兵前來鎮壓。李密抓住張須陀在此之前屢敗翟讓而產生輕敵冒進的弱點，自己帶兵埋伏在滎陽大海寺北麵樹林裏，讓翟讓假敗，引誘張須陀軍進入埋伏圈，勇而無謀的張須陀果然中計，追了十多裏，陷於瓦崗軍的重重包圍之中，張須陀兵敗身亡，兩萬隋軍被殲滅，這一仗震動河南。
617年（隋大業十三年二月），瓦崗軍乘隋軍無備，攻克距東都百餘裏的興洛倉，取得大量糧食，於是開倉賑濟貧民，得到人民群眾的擁護，隊伍迅速發展到幾十萬人。留守東都的隋越王楊侗派劉長恭率步騎2萬5千進攻瓦崗軍，又被瓦崗軍打得大敗，隋軍死者十分之五六，輜重器甲均為起義軍所獲。接著瓦崗軍攻下興洛倉，包圍了洛陽城。李密發布了聲討隋煬帝的檄文，曆數隋煬帝的十大罪狀，指出煬帝的罪惡是“罄南山之竹，書罪無窮；決東海之波，流惡難盡”，這篇檄文成為當時廣泛動員民眾反抗煬帝統治的有力號召書。
東都洛陽在瓦崗軍的圍困之下，糧食缺乏，形勢危急。隋煬帝派江都通守王世充率領江、淮勁旅，馳往東都救援。王世充率領江、淮軍北上，和河南、河北的幾支隋軍在東都會合，在王世充的統一指揮下，隋軍對瓦崗軍進行反撲。雙方在洛水兩岸激戰，互有勝負。越王楊侗發精兵7萬援助王世充。王世充命部隊在洛水架浮橋，渡河與瓦崗軍決戰。先造好橋的先進兵，因此前後不一致。最先登岸的是虎賁郎將王辯部隊，已破李密外圍營寨，但後續部隊卻被另一支瓦崗軍打敗，王世充以為渡河部隊戰敗，下令撤退。李密令敢死隊勇猛追殺，王世充軍幾萬人搶渡浮橋，落水而死者一萬多人。大將王辯當場陣亡，王世充不敢回東都，帶數千人逃到河陽，李密乘勝攻下金墉城（洛陽東邊的外城），修整門堞、屋舍以駐紮軍隊。這時洛陽城裏已能聽到瓦崗軍的戰鼓聲了。
隨著瓦崗軍力量的不斷發展和壯大，瓦崗軍最高領導成員之間卻發生了裂痕，李密受到部將的調唆，設計把翟讓殺死，造成了軍心不穩，削弱了瓦崗軍的戰鬥力。李密也開始妄自尊大，疏遠舊將，不愛惜士卒，一時興盛的瓦崗軍開始走下坡路。