黃巾之亂時，丘力居鈔略青、徐、幽、冀，四州被其害，公孫瓚無法抵禦。朝廷派宗正東海郡（今山東郯城縣）人劉虞（字伯安）為幽州州牧。劉虞到任後，派遣使臣到遊牧民族中曉以利害，責令他們獻上張純的首級。丘力居等聽說劉虞到了，紛紛派遣使者前來溝通歸附之事。公孫瓚擔心劉虞立功，暗中派人在途中暗殺這些使者。遊牧民族明白此事後，便繞道到劉虞處。劉虞上報朝廷撤掉駐防軍隊，隻留下公孫瓚統萬餘步兵、騎兵屯駐右北平。
公元189年（漢靈帝中平六年）三月，張純被其門客王政殺掉並把首級送給劉虞。劉虞因安撫遊牧民族有功而被授予太尉之職，封為襄賁侯。不久，又遷劉虞為大司馬，公孫瓚為奮武將軍，封為薊侯。
公元191年（漢獻帝初平二年），青州黃巾軍攻打渤海（今河北南皮東北），聚眾三十萬，欲與黑山軍會合，公孫瓚率步騎兩萬人在東光南大破青州黃巾，斬首三萬餘。青州黃巾軍棄輜重，奔走渡河。公孫瓚等他們過到一半時出擊，再次大敗黃巾軍，死者數萬，俘虜七萬餘人，車甲財物無數，於是公孫瓚威名大震。
漢獻帝劉協想東歸洛陽，派劉虞之子劉和逃出長安，偷偷出武關去找劉虞，讓劉虞率兵前來相迎。劉和途經袁術駐地，將此事告知了袁術。袁術扣留了劉和，讓劉和給劉虞寫信，答應等劉虞率兵前來為袁術後援，一起赴長安。公孫瓚知道袁術會叛變而製止劉虞，劉虞不聽。公孫瓚擔心袁術知道後恨他，派他堂弟公孫越率千餘騎兵到袁術處相結好，而暗地又讓袁術扣留劉和並奪占劉和兵馬。因此，公孫瓚與劉虞的矛盾越來越深。
袁術遣公孫越幫助孫堅攻周昂，公孫越被流矢射中而死，公孫瓚怒道：“我弟之死，禍起於袁紹。”於是出兵駐紮在磐河（今河北境內）準備報複袁紹。袁紹非常驚恐，把渤海郡太守印交給了公孫瓚堂弟公孫範，派他到南皮，想以此與公孫瓚結援。公孫範於是背叛袁紹，以渤海兵力協助公孫瓚，攻破青州、徐州黃巾軍，兵勢日益強盛，進駐界橋（故址在今河北威縣境內）。公孫瓚自己任命嚴綱為冀州州牧，田楷為青州州牧，單經為兗州（今山東金鄉縣西北）州牧，並配置了郡守縣令。
交戰雙方之一的公孫瓚是個有著俊美外表和豐富經曆的人，他曾經向嗓門比自己還大的學者盧植學習過法律，也從事過財務審計工作，但比起法尺與算盤，真正適合他拿的還是兵刃，特別是渴飲胡人鮮血的兵刃。在公孫瓚看來，烏丸、鮮卑等胡人都是供他建立武勳用的；而胡人們也把公孫瓚視為猛獸，訓練箭法的時候都拿公孫瓚的畫像做靶子。
原來的時候，朝廷很滿足公孫瓚，讓他做了遼東屬國的秘書長，專門負責調度軍隊抗擊犯邊的胡人。公孫瓚自然對此樂此不疲，在討伐張舉張純叛變的時候，他為了攻打幫助二張的烏丸丘力居時甚至差點丟了性命。可就在他從塞外封凍的管子城裏帶著半條命突圍歸來時，朝廷從九卿之中空降了一位宗室子弟，東海劉虞劉伯安，讓他做了幽州牧，也就成了公孫瓚的直屬上司。
劉虞是當時的一流人物，不但從事政治工作經驗豐富，而且品德高潔，和他的祖先一樣，能當皇帝都不當。這個恢複牧伯製度本來是另一位宗室，同是九卿之一的劉焉提出的，但在采納這一提議之後，朝廷那裏首先想到的州牧人選就是這德才兼備的劉虞。而劉虞的所作所為也證明了朝廷的用人之明，他一到任就分化了張舉張純與丘力居，讓胡人安心回去、別再跟著不安分的漢人起哄，失去強援的二張也在不久後即被剿滅。經過幾年勵精圖治，幽州地區大興屯田、教化，一派繁榮安定。
但公孫瓚心裏很不爽。為了鎮壓叛亂，他可是險些丟了性命的，結果這劉虞一來，輕描淡寫地把叛亂平息了，把功勞全占了。而且劉虞還裁減軍備，隻允許公孫瓚率領不到萬人的軍隊，那公孫瓚可是個講究排場的人物，光是白馬他就征集了三千匹，這區區萬人他如何能滿足呢？他心裏不爽、渴望功名，就要去殺胡人泄憤、邀功，可是劉虞恰好又是個和平主義者，並且還毫無種族偏見，甚至在後來袁紹勸他做皇帝的時候，他回答袁紹說“再和我說這個我就跑到去匈奴那裏去”。貪上這樣一個大漢朝自蘇武以後主動願意調動至匈奴那邊工作的上司，公孫瓚是一點辦法都沒有，實在憋不住了就隻好偷偷摸摸地跑到胡人聚居地殺人放火，一旦被劉虞知道了當然就少不了一番曉諭。這文官、武官之間如此這般地一來二去之後，兩個人自然是勢成水火了。
前麵說到，劉虞能做皇帝都不做，還把做皇帝看得比到匈奴那裏牧羊還難受，可是就是這麼一件連劉虞自己都不怎麼在意的事情，卻讓一對兄弟反目了。為了否認董卓政權的合理性，袁紹急著找個品德優秀的宗親來成立新的朝廷，結果這個意見遭到袁術的強烈反對。本來袁術和袁紹從小就因為出身問題不太愉快，這次的意見相左終於讓這哥倆鬧翻了。袁紹拉攏荊州牧劉表、東郡太守曹操來幫忙，袁術當然也不是省油的燈，他找到了徐州牧陶謙、長沙太守孫堅站在自己一邊，這兩股勢力錯綜複雜地分布於整個中原地區，處於一觸即發的態勢。