張角黃巾軍起義爆發於公元184年，雖然準備了十年，但這場起義依然是一個“偶然事件”。這一年，荊州信徒馬元義聚集數萬教徒，準備在三月的時候發動暴亂。可是張角的弟子唐周臨陣背叛，出賣了起義計劃，馬元義等人隨即遭到逮捕，官府更大規模地通緝張角等人，逼上絕路的張角毅然決定造反。之後“八州齊發”，張角的黃巾軍在各地同時行動，幾十萬大軍並舉，漢帝國登時陷入血雨腥風之中。
張角起義發生時，東漢王朝原本的政府軍戰鬥力早已經退化，根本不是起義軍的對手。這時皇甫嵩官居北地太守，是手握地方兵權的實力派。暴亂發生後，皇甫嵩被任命為中郎將，受命率領四萬東漢屯騎鎮壓叛亂。他手中的部隊，是漢帝國原本駐守在北方邊地、常年防備鮮卑的騎兵，戰鬥力比較強，遠非東漢內地軍隊可比，皇甫嵩從此開始大顯身手。 二
皇甫嵩對叛亂的黃巾軍，上來就是當頭一棒。公元184年八月，皇甫嵩抵達河南寓縣，受命鎮壓當地的黃巾軍。這股黃巾軍連戰連捷，甚至已經兵逼洛陽，皇甫嵩的任務是消滅他們，解除洛陽的威脅。
但皇甫嵩千裏奔馳到這裏，還沒喘過氣，就被東漢政府軍的亂兵衝散了。東漢的政府軍在黃巾軍的攻勢下，不堪一擊，派不上用場，反而幫了倒忙。一場動亂下，皇甫嵩出師不利，被迫退守到長社地區。他帶來的四萬精銳，還沒正式開打就被衝散了，和他一起退守長社的隻有千餘殘兵，而隨即趕來的黃巾軍長波部卻有數萬人。
危急之下，皇甫嵩毫不慌張，反而勉勵士卒，更親自衝在第一線。白天的戰鬥中，他們拚死頂住了黃巾軍的攻城。夜晚到來後，皇甫嵩抓住戰機，命令部隊集結精銳，每個士兵手持一個火把，趁著天黑發動夜襲。缺乏戰鬥經驗的黃巾軍登時大潰，原本嚴整的營地一下子被皇甫嵩燒了個幹淨。這時候東漢的援軍趕到，幫助皇甫嵩消滅了這股叛軍，因這場以少勝多的戰功，皇甫嵩被封為都鄉侯。在這場戰鬥的關鍵時刻趕來，與皇甫嵩並肩作戰殲滅敵軍的，就是後來大名鼎鼎的曹操。
長社之戰勝利後，皇甫嵩馬不停蹄，開始了鎮壓黃巾軍起義的戰鬥。他擅長高速騎兵作戰，在平原地區，他經常在敵軍還未準備就緒的情況下發動突然襲擊，一舉擊敗敵人。從八月開始，皇甫嵩轉戰河南、河北、陝西各地，成為黃巾軍的噩夢。特別是在十一月的河北晉縣之戰中，他主動出擊，趁黃巾軍列陣尚未完成發動騎兵突襲，一舉斬殺主將張寶，隨後發動總攻，一戰竟斬首黃巾軍十一萬人。值得一提的是，被皇甫嵩用斬首行動殺掉的張寶，正是黃巾軍起義領導人張角的胞弟。黃巾起義的一大臂膀在這次戰鬥中被徹底斬斷。
作為鎮壓農民起義的劊子手，皇甫嵩本身卻是一個愛民的人。這場戰鬥之後，皇甫嵩奏請東漢朝廷，減免了當地農民的賦稅，並發放糧食賑濟，真正做到了保境安民。在當地百姓眼裏，他成了戰亂時期的“保護神”，當地百姓甚至作民歌稱讚說：“天下大亂兮市為墟，母不保子兮妻失夫，賴得皇甫兮複安居。”
戰場上殺伐果決的皇甫嵩，卻從此時開始招來了政治上的災禍。晉縣之戰結束後，皇甫嵩在回師的路上拒絕了當時掌權的宦官張讓的索賄要求。宦官小人確實得罪不得，張讓在漢靈帝麵前進讒言，汙蔑皇甫嵩“虛耗錢帛，作戰無功”。立下大功的皇甫嵩，反而遭到了東漢王朝的刻薄對待：原本的左將軍頭銜被剝奪，封戶六千也被收回。