在黃巾起義前的10多年間，山東地區連年發生災荒，饑餓的農民離開了家鄉，到處流亡。那時候，各地又流行著嚴重的傳染病，貧苦民眾死亡很多。無錢的農民無法求醫買藥，隻好向鬼神求助。這樣，帶有封建迷信色彩的宗教組織便在人民群眾中間迅速發展起來。當時在山東地區流行最廣的是太平道，巨鹿人張角就利用它來作為組織號召農民起義的有力工具。
靈帝中平元年（公元184年），張角領導的黃巾大起義正式爆發，這是一次有組織有準備的農民大起義。起義前後持續了20多年，參加的人數不下數百萬，其活動的地區包括青、徐、幽、冀、荊、揚、兗、豫等地區。山東農民在這次起義中起到了巨大的作用。
黃巾起義爆發時，黃巾軍的主力分三個地區：冀州地區，由張角、張寶、張梁直接指揮；潁川地區，由波才領導；南陽地區，由張曼成領導。起義軍在開始幾個月，不斷取得勝利。張角領導起義軍打敗了盧植；潁川黃巾軍打敗了朱倘；南陽張曼成攻殺了南陽太守。後來，由於東漢政權的全力反撲和鎮壓，幾支大的農民起義軍相繼被鎮壓。潁川、冀州、南陽的黃巾軍失敗後，分散在其他各地的農民起義軍，仍然高舉著黃巾軍的旗幟，繼續進行戰鬥。其中比較大的有：冀州的黑山軍，有上百萬人；並州的白波黃巾軍，有十幾萬人；益州黃巾軍，曾控製今四川大部地區等。而最有影響力的、並保存著原有實力的是青、徐兩州黃巾軍，他們成為後期黃巾軍的主力部隊。
光和七年（公元184年）後，青州成為黃巾軍的集結點。徐州黃巾軍因遭到徐州刺史陶謙的攻擊，全部轉入青州，與青州黃巾軍會師，因此在當時也有“青徐黃巾”之稱。他們轉戰於冀、青、兗三州之間，不斷得到當地群眾的擁護支持，同時隨著其他各州的黃巾軍主力瓦解後有許多將士前來會合，使他們的力量不斷發展壯大，成為繼張角之後的一支堅強的黃巾軍。到初平元年（公元190年），袁紹軍組織的關東聯軍和董卓相持的時候，青、徐黃巾軍得到了發展的機會。據曹丕在《典論自敘》中所說：“黃巾盛於海嶽，山寇暴於並冀，乘勝轉攻，席卷而南，鄉邑望煙而奔，城郭睹塵而潰。”當時的青州（治臨淄）刺史焦和是一個昏庸無能的家夥，他的軍隊雖然兵器很利，人數很多，但還沒等起義軍到來，他們就望風而逃，不敢交戰。黃巾軍則從容地在當地組織群眾和整頓隊伍。孔融是當時的北海（治劇，今山東壽光南）相，由於他是一個紙上談兵的蠢才，結果被張饒等率領的20萬大軍打得大敗，孔融逃到都昌（今山東昌邑），結果又被黃巾軍管亥部所包圍，多虧劉備派兵來救援才使他得以解圍（參見《後漢書·孔融傳》）。初平二年（公元191年）十一月，青州黃巾軍30萬大軍進攻泰山郡，與太守應劭的軍隊多次交戰，損失輜重2000輛。接著黃巾軍又想通過渤海地區和正在東進的黑山起義軍會師。當時，黑山起義軍以太行山為根據地，聲勢很大，其實力與青州黃巾軍不相上下，如果這兩支大軍能夠彙合起來，統一指揮，就會更有利於起義軍的發展壯大。但是，由於北上的青州黃巾軍人數眾多，在通過渤海地區的急行軍中缺乏戒備，結果在東光（今河北東北）附近遭到公孫瓚出其不意的襲擊，死3萬多人，損失輜重數萬輛。當他們渡黃河北上時，又遭到公孫瓚的截擊，死者數萬人，損失車甲財物不可勝數（《後漢書·公孫瓚傳》）。到了初平三年（公元192年）四月，青州黃巾軍經過整頓，決定轉向進攻兗州，在東平（今屬山東）附近打敗了兗州刺史劉岱的主力軍，殺死了劉岱，農民起義軍的聲勢再度興盛起來。