在隋末亂世中，農民起義最多、鬧得最凶的大體上就在今天山東河北一帶。隋煬帝征高麗，山東與河北是重點征兵征糧的地方，因此此地的農民負擔最為沉重，再加上天災人禍，自然最後激起的反抗也就最為強烈。“哪裏有壓迫哪裏就有反抗”，同理，哪裏有反抗哪裏就有鎮壓，鬧得越凶自然受到的鎮壓就越厲害，也越殘酷，在這個最為殘酷的環境中脫穎而出的強人便是隋末的第三大反王——竇建德。
竇建德是貝州漳南（今河北故城東北）人，家裏世代務農，但也小有積蓄。此人仗義疏財，重諾言，講俠義。有一次他的鄉裏有家人喪親，因家貧無法安葬。竇建德正在田中耕種，聽聞之後歎息了一番，便將自家的耕牛給了鄉人，讓其發喪。那個時代耕牛是一個家中最貴重之物，竇建德為了他人居然能如此急公好義，自然贏得了同鄉們的敬重。他這種性格啟發了後世小說家和評書先生的大量靈感，不論是後來的《水滸》還是《說唐》，裏麵的主角不論是晁蓋、宋江還是秦叔寶，幾乎都有竇建德的影子。當然講義氣隻是江湖好漢的一麵，要想聚起一幫手下，還得自身有實力才行。當時有這麼幾個不開眼的盜賊光顧了竇家，結果竇建德埋伏在門邊，待盜賊進屋後，先後打死三人。其餘的盜賊嚇得不敢再進，隻好請求竇建德將三人的屍首交還。竇建德讓他們拋繩子進來拖。盜賊們於是將繩投進屋裏，竇建德將繩係在自己身上，冒充屍體讓盜賊拽出，趁他們不備，躍起持刀再殺數人，從此他的名聲威震四方。他既急公好義，手段又強悍，不久便被任命為裏長。不料沒過多久，他就因為犯法而逃亡。
這段逃亡生活對竇建德日後的生活影響很大，他很可能於逃亡途中在綠林中闖下了響亮的名氣，亦結識了很多的朋友。竇建德逃亡的日子並沒有持續太長的時間，等隋煬帝登基大赦天下後，他也得以回歸家鄉。這時候的竇建德已經聲名赫赫，其父死後，居然有一千多人趕來送葬，然而，他將禮金一一推辭。以人品而論，竇建德可能是當時所有反王當中最好的。
大業七年（611），楊廣第一次討伐高麗，向天下征兵，精兵強將齊聚遼東，於是郡縣內就顯得空虛，要重新補充新的力量。竇建德因為他的勇名被選為二百人長，成了一個小軍頭。他有個朋友叫孫安祖，刺殺了縣令後投奔了竇建德。此人為何要殺縣令，史書裏有兩種說法，一說是此人因為驍勇而被征兵，他以家裏遭水災、妻兒都餓死了為理由推拒，卻被縣令毆打，從而導致後來刺殺行為；一說是因為這人手腳不幹淨偷羊，還是被縣令毆打，結果導致刺殺。一般現在多取信第一種說法，可是仔細分析一下卻感覺不然。如果按照第一種說法，家裏遭災，妻兒餓死，無牽無掛，豈不是正好可以當兵吃糧？混得好拚出個將軍校尉之類的豈不強似在家受凍挨餓？如果說這人怕死倒也罷了，可是能做出刺殺縣令之事的人怎麼看也不像是個膽小的鼠輩。此時煬帝當政不久，國力正盛，統治力量還是非常強大，追索之人很快就查到了竇建德身上。老竇便對孫安祖說了一大通煬帝征高麗必敗的預言，勸孫安祖去附近的高雞泊（今河北故城西南）落草。竇建德此時身為國家公務人員不但包庇窩藏罪犯，甚至利用自己的影響力聚集了幾百無產流民和逃兵給孫安祖打基礎，這種行為簡直是典型的兵匪勾結。如果在一個正常的社會，這種人往往是老百姓最為痛恨的，可是在當時，竇建德卻被百姓們視為英雄。當一個社會到了道德觀黑白顛倒，是非不分的時候，那麼離崩潰也就不遠了。在竇建德的幫助下，孫安祖的強盜團夥慢慢壯大了起來，他自稱將軍，取了一個頭銜叫“摸羊公”，不知道是不是用來紀念他當年偷羊的壯舉。
竇建德的江湖地位越來越高。當時群盜紛紛起事，他們往來漳南一帶，所過之處燒殺搶掠，但唯獨不來騷擾竇建德家。本來竇建德就名聲在外，早就是官府的懷疑對象，這下子更為明顯，簡直就是明白地告訴官府這位竇大哥跟這幫盜匪其實是一家人。當時竇建德帶兵在外，縣衙居然把竇家給抄了，家裏無論少長一律處死。這樣激烈的反應其實是非常可疑的，縣裏麵的官員明明知道竇建德在郡裏麵當軍官，卻並沒有去抓捕竇建德本人，而是先逮捕了竇建德的家屬。並且在一無證據二無口供的情況下，僅僅憑懷疑就殺了竇建德的一家，讓人不得不感覺此中有很大的貓膩。所謂通匪的嫌疑相形而言更像是公報私仇的一個借口。竇建德接到消息之後開始逃亡，手下的二百人全部跟隨他叛逃而去。有過一次逃亡經驗的竇建德頭腦非常清楚，他並沒有投奔孫安祖，反而去了勢力更大的高士達那邊入夥。當時孫安祖的勢力剛剛成形，如果竇建德前去投奔，不論在其上還是在其下都免不了要產生矛盾，搞不好就會像瓦崗寨那樣火並解決領導問題。為了避免這樣的情況出現，竇建德很聰明地選擇了高士達。
以竇建德的威望，東海公高士達對他的投奔自然是非常高興，當時就封了他“司兵”（軍隊指揮）這樣的實權職位。之後孫安祖與張金稱火並一場，結果被殺，其部數千人盡數逃奔竇建德。從此，竇建德勢力漸盛，壯大到萬人，高士達的人馬在竇建德的指揮之下戰鬥力也提升得很快。當時山東河北地區“盜賊”蜂起，隋地方政府在與這些“盜賊”作戰之時總吃敗仗，因此他們的勢力發展得非常快。其中實力比較強的就有鄒平的知世郎王薄、平原豆子甌的劉霸道、河曲的張金稱等等，這些人的勢力少則幾萬，多則十數萬，給隋帝國在山東河北的統治帶來了極大的破壞。由於兩次征高麗涿郡都是出兵的大本營，因此涿郡的兵馬也最為精銳。於是以涿郡的兵馬為主力，在大業十二年開始了一場大規模的清剿行動。
這次軍事行動分別是由兩個人指揮，一個是太仆卿楊義臣，他率遼東還軍數萬進攻張金稱，一個是涿郡通守郭絢，他率領萬餘兵馬征討高士達。在沒有遇到真正精銳的政府軍之前高士達的小日子過得挺滋潤，可是郭絢一來，他馬上就感到了壓力，於是封竇建德為“軍司馬”，把所有的部隊都交給竇建德指揮。竇建德想了一招苦肉計。他先請高士達負責看守輜重，率精兵七千迎擊。然後就四處散播傳言，說自己與高士達有嫌隙，因此叛逃。而高士達這邊則大張旗鼓地宣傳竇建德叛變的消息，為了取信他人，還將一個虜獲的婦人假充竇建德的老婆給殺了。這種消息傳到郭絢耳朵中之後，竇建德就向他送上了降書，並且還要做先鋒擊破高士達立功贖罪。可惜那個時代還沒有《三國演義》這樣的小說，否則郭絢就會發現這一幕與赤壁大戰之時周瑜與黃蓋之間的苦肉計多麼相似。
竇建德的計劃十分完美，郭絢很快就中了圈套。竇建德於是在長河（今山東德州東）設下埋伏，等郭絢一來，伏兵突發，大敗郭絢，擊斬數千人，繳獲戰馬數千匹，郭絢僅僅與少數騎兵逃走。竇建德得勢不饒人，急行軍追擊，終於在平原（治安德，今山東陵縣）斬殺郭絢，將首級獻於高士達。
此戰後竇建德威震山東，風頭一時無二。可是好景不長，郭絢雖然失敗了，但是還有一個更難對付的楊義臣。他在成功率軍擊殺張金稱之後又對高士達發動了一場大規模的軍事行動。楊義臣善於謀略，用兵詭詐狠辣。他在對付張金稱的時候手中都是遼東作戰返回的強兵，但卻並不主動出擊，而是深溝高壘，擺出一副防守的架勢。當張金稱每天率兵來挑戰的時候，楊義臣總是穿戴整齊率領士兵與張金稱約好正麵野戰，但是每次都並不出戰，讓對方白等一天。這種情形持續了一個月，把張金稱磨得脾氣全無。一個月後的一天張金稱罵戰之後回營，他以為楊義臣還跟以前一樣，不會出營挑戰，因此營地未做防守。結果楊義臣挑選精銳騎兵兩千人，乘夜從館陶渡河，趁張金稱率兵離開營地時即進入張的營地襲擊他的輜重。張金稱聽到這個消息，率兵回救，被楊義臣從後麵襲擊，張金稱大敗，僅與身邊的人逃到清河郡東。後來張金稱被楊善會俘獲，官吏在鬧市中立了一根木柱，將他的頭懸吊起來，展開他的手足，讓與他有仇的人割食其肉。張金稱也是條硬漢，受此酷刑之時居然放聲高歌，直到氣絕。
張金稱的殘部全都投奔了竇建德，從他們的口中，竇建德了解到了楊義臣是個什麼人物，不禁倒吸一口冷氣，此人顯然不是現在的高士達軍能夠對付的。於是竇建德進諫高士達，希望暫避鋒芒，全軍躲入高雞泊跟楊義臣打遊擊，等隋軍疲憊之後再伺機打擊。可是高士達因為擊破郭絢而誌得意滿，拒不聽取竇建德的正確意見，反而留竇建德守營，自己率精兵要跟楊義臣正麵作戰。當然這些種情形表麵看上去僅僅是高士達的戰略錯誤，恐怕高士達堅持出擊的原因是因為竇建德開始功高震主了。不論是吸引人才還是作戰，竇建德的表現都遠遠比高士達顯眼得多，如此繼續下去，主從之勢必然會顛倒。此時楊義臣的出現給了高士達一個證明自己的機會，如果將連竇建德都畏懼的楊義臣擊敗，那麼軍中的重心又將回到高士達這邊，從而避免了內訌的風險。高士達憋著一股勁，一定要擊敗楊義臣，因此初次交鋒便猛衝猛打，讓楊義臣吃了點小虧。他心下大喜，大擺筵席慶祝勝利。竇建德聽說高士達這麼幹，對手下說：“東海公還沒完全打敗敵人就如此自大，禍事不遠了。如果隋兵乘勝追殺，我們這裏獨木難支。”於是他留下老弱守營，自己率領精銳把守險要。