劉黑闥，祖籍貝州漳南縣。他為人狡猾奸詐，野蠻專橫，整天吃喝玩樂，無所事事，長輩們因此傷透了腦筋。
他年輕的時候，曾經跟竇建德的關係很好。當時，他的家境十分貧困，竇建德經常資助他，給他提供吃穿。隋朝末年，他跟著郝孝德等人逃亡，聚眾搶劫。後來，又跑到李密手下當裨將。李密被王世充俘虜後，王世充聽說劉黑闥勇猛強悍，便讓他擔當騎將。
雖然劉黑闥在王世充手下任職，但卻對王世充幹的一些事很不以為然。於是，他背叛了王世充，轉去投靠竇建德。竇建德很高興，封他為漢東郡公，並任命他為將軍，還派他率領一支突襲部隊四處偷襲。
當時，劉黑闥不僅勇猛彪悍，而且為人非常奸詐狡猾。他在任時，主動跟各叛軍首領來往，跟他們的交情很深，並且能夠審時度勢。通常一有行動計劃，竇建德就會派他前去打聽收集各種情報。他經常能帶回一些機密的情報，竇建德以此多次打敗了敵手。就這樣，劉黑闥立下了不少戰功，因此被部隊裏的人叫做“神勇將軍”。竇建德失敗後，劉黑闥躲藏在老家漳南縣，不再出門見客。
恰逢高祖發出詔書敦促竇建德的將領範願、康買、曹湛、高雅賢等人到長安去。範願一夥人一起商議說：“王世充獻出東都洛陽投降唐朝，連他手下的將領楊公卿、單雄信一類人都被消滅了，就更不用說我們了。我們如果再不動手，肯定性命難保。”於是，他們聚集在一起，準備策劃造反。他們用卜卦占卜預測，上麵顯示說要吉利必須請姓劉的人當首領。於是，他們找到了漳南縣的竇建德原將領劉雅，並向劉雅說了計劃，請求他出山。劉雅聽後卻說：“現在天下已經太平，我的心願是當個農夫，而不是起兵。”眾人聽後很生氣，在離開前殺死了劉雅。
範願又想到了劉黑闥，建議道：“漢東郡公的劉黑闥有勇有謀，為人寬宏大量，打仗時跟士兵們都很好。我早就聽說姓劉的人會當大王，現在所幹的這件大事，我想首領的位置非劉黑闥莫屬了！”於是，眾人又來到劉黑闥的家裏，對其表明心跡。劉黑闥知道後，十分高興，立馬答應了，並且還殺雞殺鴨，大辦宴席，款待眾人。劉黑闥擔任首領後，率領一百多人起兵，首先攻下了漳南縣城。
當時，貝州的刺史戴元詳和魏州的刺史權威聯合兵力抵抗劉黑闥，但都被劉黑闥打敗了。戴元祥和權威兩人最後都死在了戰場上。劉黑闥繳獲了他們的全部武器裝備和剩下的一千多名士兵。這時，他的老朋友和老同事範願、高雅賢等全都趕來歸附他，隊伍人數一下子多達兩千人。
高祖武德四年(公元621年)七月，劉黑闥在漳南縣設置祭壇祭奠竇建德，並向他稟告了自己造反報仇的心願。之後，劉黑闥當起了大將軍。淮安王李神通、將軍秦武通、王行敏先後奉命前去討伐他，但都以失敗告終。
接著，劉黑闥又移送文書到趙州、魏地。原竇建德的將士們紛紛殺掉官吏來響應。進而，劉黑闥前去北邊，聯合當地懷戎的叛軍首領高開道一同向宗城進發。這支軍隊有好幾萬人，士氣高昂。就連黎州總管李世績都抵擋不了，棄城而逃。
劉黑闥對李世績窮追猛打，最後李世績的五千名步兵全都戰死沙場。李世績和秦武通隻好獨自逃命，才得以保全性命。這時，劉黑闥任命王琮擔任中書令，劉斌任中書侍郎掌管文書公務，並派遣使者去拜訪北方的突厥，請求聯合。於是，頡利可汗派遣俟斤宋耶那率領騎兵部隊跟隨劉黑闥。此後，劉黑闥部隊的士氣更加振奮，並開始進軍攻打相州，不久就攻下了相州。隻半年時間，他就將竇建德原有的地盤全部收回了。當時，兗州的叛軍首領徐圓朗拿齊州、兗州的地盤歸附了劉黑闥，一時間，他的聲勢變得更加強大。
高祖武德五年(公元622年)正月，劉黑闥到達相州，越權自稱漢東王，定年號為天造。
隨後，他讓範願擔任仆射，董康買擔任兵部尚書，而高雅賢則擔任右將軍。此外，還將竇建德時期的文武官員全部召回任用，將竇建德時期的規章製度和政務全部照搬過來，而且現在的戰鬥力較之前更為勇猛。
於是，太宗主動請求統帥軍隊討伐劉黑闥。當隊伍在衛州駐守時，劉黑闥多次主動派兵挑戰，但都被唐軍挫敗。劉黑闥因此十分害怕，放棄了相州，撤退到列人營設防守衛。這時，名水縣的人要求當劉黑闥的內應。當太宗派遣總管羅士信進城防守時，劉黑闥與外人內外接應，攻克名水縣城。最後，羅士信戰死沙場，劉黑闥據守了名州。