劉黑闥在竇建德敗亡之後，就一直隱居在家鄉耕地種穀，絲毫不再過問當世的情況。昔日眾部來到時，劉黑闥正在田間種菜，一陣感慨之後，就問明來意。
範願等人將研究過的起兵反唐計劃做了詳細的陳述，但是劉黑闥喟然歎息說：“我沒有一天不在想著報仇的事情，但是怪我不成器，既然諸位今天登門，我哪裏還有不從的道理呢”？
說完，這位身高馬大的壯漢立即扭轉身子，麵向河北方向，雙膝跪下，沉沉說：“夏王！報仇雪恥之日，可待啊。”
眾人見了，也深受感動，便緊挨著劉黑闥跪下來，共同立誓說：“願夏王在天之靈安息！你當年的部下決心起兵反唐，為你伸冤雪恥。”
為了表示決心，劉黑闥當即把家中唯一的一頭耕牛宰殺了，煮了滿滿一大鍋，與眾位戰友分享。
他們一邊大嚼大咽著香噴噴的牛肉，一邊議論起兵大計，決心把反唐的戰爭打到底。
不到兩天工夫，他們已集合了一百餘人，便於唐武德四年（621）七月下旬，劉黑闥正式起兵反唐，隨即攻占了漳南縣城。
起義之後，劉黑闥等四處宣傳他們起兵的原因，反複向老百姓說明一個道理：“我們這次起義，並不是因為竇建德舊部想從李淵的朝廷大權中分取一部分權力，而完全是被李淵的屠殺政策逼出來的！我們是為了活命而戰！我們是為了替冤死的夏王報仇而戰！”
由於劉黑闥等反複宣傳這些道理，本來在河北地區竇建德就很有威望，很快受到廣大老百姓的響應，許多人主動來參加起義隊伍，使這支起義軍迅速發展到數千人。
那時的唐朝行政區劃製度規定，當地有了戰事，便設置行台尚書省，等戰事一結束就撤銷了。
劉黑闥在河北起兵反唐的消息很快傳到了長安，李淵不禁龍顏大怒，在朝廷上大動肝火地說：“天下已定，四海歸一，老百姓要過安定的日子，可是河北的劉黑闥又跳出來鬧事了！不久前，朝廷下詔書，征召竇建德的舊部時，有人反對這樣做，有人認為沒有必要，現在該清醒了吧？像劉黑闥這樣的餘孽，不能對他們手軟，必須消滅他們！正像斬草要除根一樣，留下他們，就會有後患……”
李淵立即在（左氵右名）州設置了山東行台，魏、冀、定、滄等州都設置了總管府；又任命了當年曾被竇建德捉住過的淮安王李神通為山東行台右仆射，讓他前往河北，統領各地駐軍，鎮壓劉黑闥的起義軍。
劉黑闥得到這消息之後，立即與部下議論道：“這次捉住李神通，立即殺掉，用他的人頭來祭奠夏王！”
八月份，劉黑闥先派數十人扮作商人模樣，進入漳南縣南邊的鄃縣（今山東夏津縣），然後領兵突然發起攻擊，縣令吳懷義慌忙領軍出戰。
兩軍正在城外拚殺，城門已經大開，範願領著數百人已經衝入城內，與日前入城的那些“商人”合在一起，殺死了守軍，占據了鄃縣城。
吳懷義正與劉黑闥交鋒，聽說城池已經丟失，心中一慌，便被斬於馬下，死於非命。
攻克邰縣之後，劉黑闥準備向魏州（今河北大名北）和貝州（今河北清河西）進攻，未料這兩個州的刺史權威和戴元祥早已相互聯絡，合兵一處，前來鎮壓了。
高雅賢對劉黑闥說：“權威手下的統兵校尉於亮，原是我的部下，隻需如此如此，即可打敗權威、戴元祥聯軍。”
劉黑闥昕後大喜，忙派人依高雅賢之計行事。
三日後，兩軍在魏州與貝州之間的丘崗擺開陣式，剛一交鋒，於亮便一刀砍死了權威，然後大聲說：“我們這些人本來都是夏王的部下，現在夏朝又重新恢複了，都隨我回歸夏朝吧！”
魏州的三千多名將士一起歡呼，倒戈反唐了。
戴元祥見此情形，便想領軍撤退，劉黑闥迅速率軍將其包圍，經過一陣拚殺之後，戴元祥戰死，手下的二千多人馬一起投降了。
占領了魏州和貝州，劉黑闥命令開官倉，發糧賑濟窮苦百姓，重新得到了夏朝的舊部和武器裝備，軍威大振，軍隊人數迅速增加。
範願帶頭說道：“俗話說：蛇無頭不行，你這個頭也該有個名分了吧？”
有人建議也稱他為“夏王”，但劉黑闥堅決不同意，他說道：“夏王是你我的恩公竇建德的王號，怎敢冒用，豈不是大不敬嗎？何況起兵伊始，兵力尚弱，等到軍威重振之時，再議稱王之事吧！”
高雅賢說：“暫緩稱王也好，那就稱‘大將軍’吧，也算是有個名號了！”
於是，劉黑闥變成了“劉大將軍”，帶領隊伍繼續向東進軍，因為那裏是唐軍控製鬆懈的地方。
李淵在長安聽說劉黑闥的勢力不斷發展壯大，又下令調發關中三千步騎，由將軍秦武通、定州總管李玄通率領，開赴河北，鎮壓劉黑闥起義軍；同時又下令幽州總管羅藝帶兵南下，與秦武通、李玄通配合，共同討伐劉黑闥。
同月下旬，劉黑闥的隊伍兵抵曆亭縣（今山東武城縣東），守將為唐朝屯衛將軍王行敏。
範願說：“王行敏原是隋煬帝舊將，是個鎮壓農民軍的老手。當年，我曾敗在他手下兩次，不可輕敵呀！”
劉黑闥說：“王行敏有勇無謀，再加上他自以為強大，驕傲狂妄，我們利用他的弱點，保管能打敗他！”
第二天，劉黑闥讓範願帶一千人，前去城下挑戰，並在他耳邊囑咐了幾句話，說道：“你要敗給他，讓他追你，你的任務就完成了！”
範願領兵走後，劉黑闥自己帶了三千人馬，在曆亭城西王家牌坊南麵的密林裏設下埋伏。
範願在城下挑戰時，王行敏在城頭忽然問道：“來將何人？快報上名來，老夫不殺無名之輩！”
範願大聲答道：“當年夏王駕前護衛大將軍範願！”
王行敏聽後，哈哈大笑道：“我當是劉黑闥呢，原來是你這個手下敗將，你曾兩次從老夫刀下逃走，今日又來送死嗎？”
範願故意激他說：“十年河東轉河西。今日是我來取你的狗命，快出城吧！”
王行敏一聽，不屑地說：“你不是老夫的對手，快回去吧，換劉黑闥出戰，今日老夫要生擒他！”
範願罵道：“你這背主求榮的老賊，怎能配與我們的劉大將軍交戰？今日是你的死期，快快出城受死吧！”
王行敏氣得哇哇大叫著，領兵出城。他根本不把這個昔日的手下敗將放在眼裏，便莽莽撞撞地指揮人馬掩殺過來，恨不能一刀宰了範願。
範願抵擋了一陣，就假裝敗退。王行敏口中大叫道：“今日不活捉你範願，老夫誓不回城！”
一邊大喊著，一邊緊緊追趕，一直追了好幾裏地，拐過那座王家牌坊，路越來越窄，樹越來越密，他的手下勸阻道：“不能再向前追了，一旦有埋伏的兵馬對我軍不利呀！”
王行敏大大咧咧地說：“怕什麼？這些無名的小輩，有何本事敢與老夫交鋒。追！”
王行敏自恃武藝高強，又指揮兵馬繼續向前追去，便進入了劉黑闥的埋伏圈內。
突然，劉黑闥一聲令下，埋伏的三千銳卒一起殺出，把王行敏的人馬團團圍住，展開了廝殺。
王行敏雖然勇猛，但是被伏兵層層包圍，隻見他左衝右突，殺退了一批，又圍過來一批，終因年老力弱，身上多處負傷，被起義軍亂刀砍死，全軍覆沒。
經過這一場戰鬥，劉黑闥在起義軍中的威望更高了。他在軍中不但號令嚴明，而且生活樸素，要求自己甚嚴，像當年竇建德那樣，從不貪財愛色，從唐軍那裏繳獲來的錢財，他都分給起義軍將士，受到全軍的擁戴和信任。
此時，曾經歸降唐朝的農民起義軍領袖徐圓朗，也主動背叛了唐朝，而接受了劉黑闥起義軍的領導。
這位徐圓朗是隋朝魯郡兗州人，大業十三年他舉兵起義，攻占東平縣，並占領了周圍地區，擁有自琅琊（今山東臨沂）以西、東平以南的土地，擁兵兩萬多。
後來，徐圓朗歸附於瓦崗軍，李密失敗後，又歸附於竇建德，竇建德敗亡之後，他才投降李淵，被封為魯郡公，任命為兗州總管。
劉黑闥起兵反唐後，多次派人與徐圓朗進行秘密聯絡，邀他一同起兵，向李淵討還血債，推翻唐朝統治。
直到武德四年（621）十月，劉黑闥派人送給徐圓朗美女十人，他才答應起兵響應。
當時，李淵派河南安撫使盛彥師前往任城（今山東濟寧）領導當地駐軍鎮壓劉黑闥起義軍。
徐圓朗立即派人去向盛彥師說：“為支援大軍討賊，我願獻上軍糧五萬擔！不日送到。”
盛彥師大喜，便在任城坐等這位兗州總管親自送糧來。
不料，徐圓朗用糧袋裝滿茅草，堆在車上，送往任城，他自己帶領五百騎兵，親自在車隊後麵押解。
車到任城，盛彥師親至城門迎接，二人一見麵，徐圓朗的部下便一起上前，擒住了盛彥師，押著這位河南安撫大使進了官衙。
徐圓朗不費一兵一卒占領了任城，又勸說盛彥師投降，盛彥師說：“濟州守將謝雲軒是我的好友，讓我前去勸說他一起歸附。”
徐圓朗一口答應，立即放了盛彥師，讓他單騎去了濟州（今山東東阿縣西北）去勸降。
哪知盛彥師一到濟州，便以唐朝安撫使的身份，與守將謝雲軒整軍備戰，想狙擊徐圓朗軍隊北進。
徐圓朗得知自己上當之後，大動肝火，立即領軍來攻打濟州，揚言定要活捉盛彥師，將其碎屍萬段。
可是，濟州城牆堅固，城內糧草充足，盛彥師與謝雲軒緊閉城門，不予交鋒，無論徐圓朗的軍隊在城外怎麼叫陣，他們隻是堅守不出。
徐圓朗命令部下從城外麵挖地道，想從地下道攻城，盛彥師發現之後吩咐將士把城內池水灌入護城河內，使徐圓朗的地道裏灌滿池水，人不能進，隻好打消了攻城的念頭。
雙方僵持了一段時間，徐圓朗的軍中糧食快吃完了，又見攻城無望，隻好悻悻地領軍撤走。
徐圓朗回到任城，又攻占了周圍的滕縣、金鄉和魚台等州縣，在攻打成武時，身負重傷，回到了他的老巢兗州，閉門養傷。
躺在病床上的徐圓朗，回憶大半生的戎馬經曆，自起兵後自己一直隨侍在別人的鞍前馬後，先是瓦崗寨的李密，後是夏朝的竇建德，再後來便是大唐的李淵了，現如今，連劉黑闥也成了自己的主子，他越想越不服氣，不禁自語道：“為什麼我老是要麵北朝王而不能麵南稱王呢？”
於是，徐圓朗從病床上爬起來，讓人扶著召集部下說道：“眼前，我們地方百裏之外，所占州縣數十個，軍隊人數已超過四萬，為何還要受製於人？”
他的部下聽了，明白他的意思，便一起擁護他登基稱帝，山呼萬歲，徐圓朗趁機說道：“登基暫緩，先稱王吧！”
徐圓朗隨即在任城自稱魯王，大封功臣，並廣招兵馬，擴充軍隊。