李密接著投奔東郡義軍領袖翟讓，通過王伯當向翟讓出謀劃策。派人遊說小股義軍，被勸說的人都歸順了翟讓，翟讓於是對他開始看重，同自己一起討論重大問題。李密看到人馬眾多而缺少糧草，便勸翟讓攻打滎陽，讓軍隊休息，積蓄糧秣，然後與隋軍爭奪天下。翟讓聽從建議，便攻下滎陽。太守郇王慶和通守張須陀帶兵討伐翟讓，翟讓幾次被張須陀打敗，準備向別處逃跑。李密勸翟讓擺開陣勢等待敵兵，他親率一支隊伍襲擊隋軍，把敵人打得大敗，在陣前斬殺了張須陀。翟讓於是命李密樹起軍旗，另外統帥一支部隊。李密又勸說翟讓把奪取天下當成第一要事，攻取興洛倉，發放糧食以救濟貧苦百姓。於是，他同翟讓於義寧元年（617）春從陽城出發，向北越過方山，從羅口進攻興洛倉，一舉拿下，打開糧倉，賑濟百姓。越王楊侗派武賁郎將劉長恭進討李密。李密一舉將其擊敗，劉長恭僥幸逃脫。翟讓於是推舉李密為義軍領袖。李密在洛口建立一座周長四十裏的城堡以便駐守。翟讓為李密送上魏公的稱號，並建立壇場請他即位，稱為元年。李密命房彥藻為左長史，邴元真為右長史，楊德方為左司馬，鄭德韜為右司馬。拜翟讓為司徒，封為東郡公。長白山義軍孟讓攻打東都，焚燒豐都市歸來。李密又攻下鞏縣，俘獲縣令柴孝和，授給他護軍的官職。隋將武賁郎將裴仁基獻出武牢關歸順李密，李密便派裴仁基與孟讓打破了回洛倉，並占據了它。不久，鄭德韜、楊德方戰死，李密又命鄭頲為左司馬，鄭虔象為右司馬。
柴孝和勸說李密：讓裴仁基守護回洛倉，翟讓占據洛口倉，您親自率領精銳部隊，向西攻打長安。否則，別人會搶在我們前麵。李密說：“這確實是上等的計策，隻是我的部屬都是山東人，看見未攻下洛陽，恐怕不肯西進。”柴孝和請求讓他到西麵了解情況，李密讓他帶領十個騎兵到陝縣，竟收到一萬多歸附之人。李密的軍隊當時鋒芒正銳，經常在東都洛陽附近與官軍作戰。正好李密被流箭射中，躺在軍營中休息，東都的官兵出來襲擊，他的部隊潰亂，放棄回洛倉回到洛口。柴孝和的部隊聽說李密兵敗，各自離去，柴孝和騎馬歸來。隋煬帝派王世充率江淮勁旅五萬人討伐李密，李密兵敗，柴孝和在洛口淹死。
王世充駐紮在洛口西，與李密的軍隊相持一百多天。武陽郡丞元寶藏、黎陽賊兵首領李文相、洹水賊兵首領張升、清河賊兵首領趙君德、平原賊兵首領郝孝德相繼投奔李密，一起攻破黎陽倉。隋將周法明將長江與這黃河之間的土地獻給李密表示歸順。齊郡的賊兵首領徐圓朗、任城的豪傑徐師仁、淮陽太守趙他等人也都先後歸附，人數加起來上萬。
翟讓的部將王儒信勸翟讓統領所有的事務以奪回李密的權力。翟讓的哥哥翟寬也對翟讓說：“天子隻可以自己去做，怎麼能讓給別人？你如果不願意，我可以當皇帝。”李密知道後，十分厭惡。恰巧翟讓與王世充對陣，軍隊後退了幾百步，李密與單雄信等率兵增援，王世充敗退。翟讓想乘勝攻破隋軍大營，李密看天色已晚便阻止了他。第二天，翟讓帶數百人到李密的住所，李密想為他設宴慶賀。他帶領的將士都被分散到各處吃飯，所有的門口也都派人警備，翟讓沒有覺察。李密領翟讓入坐，讓翟讓射箭，翟讓拉滿弓將要引發，李密派壯士蔡建從後麵將他斬殺。又殺害了他的哥哥翟寬和王儒信等人，跟隨他來的人盡被殺害。翟讓的部將徐世被亂兵砍傷，李密阻止，才免於一死。單雄信等人都叩頭哀求，李密都予以釋放並慰問他們。於是他來到翟讓的大營，解釋為什麼要殺翟讓，派徐世、單雄信、王伯當分別統領翟讓的軍隊。
王世充利用晚上攻打倉城，李密堅守，將敵人打敗。王世充又在洛北建立營壘，在洛水上架設浮橋，率全部人馬攻打李密。李密與隋軍抗拒，因失利退卻。王世充因而得以進至義軍的城下，李密率軍襲擊，隋軍潰敗，爭渡浮橋，橋塌陷，落水者極多。武賁郎將楊威、王辨、霍世舉、劉長恭、梁德重、董智通等人陣亡。王世充幸免於一死，逃向河陽。是夜天降大雪，剩餘的士卒死亡殆盡。李密便整修金墉的故城駐守，率眾十餘萬，攻打東都洛陽的上春門。東都留守韋津帶兵出戰，被抓獲。部將勸李密稱帝，李密不同意。李世民、李建成率領的義師圍攻東都洛陽時，李密派軍隊與義師爭奪，又互相安撫，然後撤退。
不久，宇文化及殺死隋煬帝，自江都向北攻打黎陽，李密率軍抵禦。這時，越王楊侗稱帝，派使者授予李密太尉、尚書令、東南道大行台、行軍元帥、魏國公，命他先平定宇文化及，然後到朝廷輔政。宇文化及率軍到黎陽，徐世堅守倉城，宇文化及久攻不下。李密與宇文化及隔著河水對話，李密數落他說：“你本是匈奴族的奴隸中破野頭這一支的人，父親與兄弟都受隋朝的恩德，怎麼能恣意殺戮？現在如果速來歸順，還可保全你的後代。”宇文化及默然不語，思忖許久，便瞪著眼睛大聲說：“我和你討論攻戰殺伐的事，何必說些書本上文縐縐的話！”李密對隨從的人說：“宇文化及如此庸俗淺薄，忽然想謀取帝王的寶座，我當拿根棍子將他趕跑。”李密知道他的糧食將要吃完，便假裝跟他講和。宇文化及十分高興，讓士兵放開量大吃，希望李密能送給他糧食。而李密部下有人犯罪，逃到宇文化及那裏，將李密的真實意圖說出。宇文化及大怒，但糧食已完，便與李密在童山下展開大戰。從早晨直打到天黑，李密被流矢射中，駐在汲縣。宇文化及攻掠汲郡，向北直趨魏縣。宇文化及原家將輜重放在東郡，派他的刑部尚書王軌守衛。王軌獻出東郡，向李密投降，李密命王軌為滑州的總管。
李密率兵向西挺進，派記室參軍李儉到東都朝拜越王楊侗，獻上殺死隋煬帝的凶手於弘達。楊侗任李儉為司農少卿，並派李儉召李密入朝。李密行至溫縣，聽說王世充已殺死元文都、盧楚等人，便回到金墉城。
王世充專權以後，重賞將士。此時，李密的軍隊缺衣，而王世充的部隊沒有糧食吃，就請求同李密交易。李密的部下邴元真等人貪求私利，勸李密同意。李密答應了。原先東都絕糧，向李密投降的人每天有幾百人。這時有了糧食吃，投降的人越來越少。李密後悔。李密雖然占有糧食，卻沒有府庫，將士多次戰鬥而得不到賞賜。對於新投降來的人，待遇卻特別優厚。因而，大家心生怨忿。當時，邴元真把守洛口倉，性情貪婪卑鄙。宇文溫常對李密說：“不殺邴元真，您的禍害會很大。”李密聽後並不答話。邴元真聽說後，陰謀叛變。李密知道後才開始懷疑邴元真。
王世充率全隊前來尋戰，李密留王伯當守護金墉城，自己率軍抵達偃師，向北憑借邙山紮下營寨，等待王世充的軍隊。王世充命數百名騎兵渡過禦河，李密派裴行儼等人迎戰。適逢天黑，裴行儼、孫長樂、程金等驍將十多人都受了重傷，李密心情惡劣。王世充乘夜偷渡，天明已擺好陣勢，李密才發覺。他匆忙接仗，被打敗，逃向洛口。王世充又連夜包圍偃師，偃師守將鄭頲被他的部下說動，獻城投降了王世充。李密即將進入洛口倉城，邴元真已派人與王世充勾結。李密暗中知道後，故意密而不發，想等王世充的軍隊一半渡過洛水，然後乘其立腳未穩再發起進攻。李密派去探馬卻沒有弄清情況。等到將要出戰時，王世充的軍隊已全部渡過洛水。李密騎馬逃跑，邴元真獻城投降。
李密的軍隊漸漸離散，他將要到達黎陽，有人說：“殺翟讓的時候，徐世也幾乎被殺。現在他的刀傷還未痊愈，他的心難道可以保證不反叛嗎？”李密便不再去黎陽。這時，王伯當放棄金墉城，退保河陽，李密便去投奔他。李密對眾人說：“長時間勞苦大家，我今天自盡以向諸位謝罪。”大家都俯首哭泣，不能仰視。李密又說：“幸得各位不嫌棄我，我們應一起投奔關中唐軍，我雖然沒有為唐軍建立功勳，但各位一定能得到富貴。”他的魏公府屬員柳燮說：“您與長安的皇室李氏宗族，過去有著相同的經曆。雖然沒有和他們一道起義，然而，阻隔東都洛陽的隋軍不能西顧，斷絕了隋朝的退路，使唐國不怎麼費力作戰就奪取了隋朝的京師，這便是您的功勞啊！”眾人都說：“是這樣！”李密便歸順唐朝，被封為邢國公，授給光祿卿的官職。不久，叛唐逃跑，被殺害。