饒是刻薄如此，皇甫嵩對東漢王朝依然忠心耿耿。公元188年十一月，黃巾起義餘波尚未完全平息，河西走廊又摁下葫蘆起來瓢，涼州任王國聚眾叛亂，竟然一路殺到陝西寶雞。一旦寶雞淪陷，中原大地就無險可守，危急之下，漢靈帝也大方了，原先剝奪的左將軍職務，也趕快還給了皇甫嵩——快去平叛吧。
與皇甫嵩一道參加平叛戰爭的，是後來著名的權臣董卓。董卓主張火速進兵，皇甫嵩堅決反對，他認為寶雞城池堅固，完全可以防守，拖疲叛軍。事實果然如皇甫嵩所料，叛軍久攻寶雞不下，不得不撤退，皇甫嵩隨即率軍追殺，一舉全殲一萬多叛軍。皇甫嵩用兵之高明，讓董卓相形見絀，也招來了他的嫉恨。
多年的平叛戰爭裏，皇甫嵩儼然成了東漢帝國的“救火員”，而他也在曆次得勝中，擁有了一支完全聽命於自己的軍隊。當時也有人勸皇甫嵩自立為王，卻被皇甫嵩拒絕。每次戰鬥勝利後，皇甫嵩都主動交出兵權，避免朝廷猜忌。一旦朝廷到了用人之際，不管之前遭受多麼刻薄的待遇，他都甘當“螺絲釘”，無怨無悔，出生入死。在當時東漢的諸多將領裏，他的用兵能力是數一數二的，率領的軍隊戰鬥力也是最強的。 三
耿耿忠心的皇甫嵩，也因為對漢帝國的忠心，幹了一件把漢帝國推到架空位置上的錯事：拒殺董卓。
在平定王國叛亂後，東漢帝國首先對董卓下手了。董卓被任命為並州牧，其軍隊被劃撥給皇甫嵩。但董卓死攥著軍隊不撒手，這時候誰都看得出來，董卓已經懷有二心。皇甫嵩的侄兒皇甫酈也看出來了，這時期皇甫嵩的軍力遠強於董卓，如果想除掉董卓，不管是明刀明槍幹仗，還是暗殺，成功概率都很大。皇甫酈勸說叔叔動手，忠於漢朝的皇甫嵩，在明知董卓奸詐的情況下，選擇了直接向朝廷揭發董卓的惡行。此時的漢帝國已經到了晚期，揭發有什麼用？最後董卓隻是被申斥而已，但他和皇甫嵩的梁子就這樣結下了。
皇甫嵩的忠誠，很快換來了最糟糕的後果。兩年後，即公元190年，董卓以清君側的名義率兵進入洛陽，擁立漢獻帝，成了把持國政的太師。此時身為洛陽中郎將的皇甫嵩，兵權早交給了朝廷，自然成了董卓案板上的弱肉。董卓到洛陽後的第一件事，就是逮捕皇甫嵩，企圖羅織罪名將其殺害。但幸運的是，皇甫嵩的兒子皇甫堅壽與董卓交好，苦苦求情下，董卓始終下不了決心。小心眼兒的董卓始終放不下當年的事，一心要讓皇甫嵩屈服。他故意要朝臣當著皇甫嵩的麵給自己下跪，問皇甫嵩怕不怕自己的威嚴，在絕境之下，皇甫嵩依然平靜以對，他回答說：“如果您用聖德輔助皇帝，我有什麼可怕的，如果您用暴力治理天下，天下人都會害怕。”殺人如麻的董卓不禁折服，主動釋放了皇甫嵩，並委以要職。但在董卓把持朝政時，皇甫嵩始終“不獻一策”，儼然一個擺設，在朝臣紛紛趨炎附勢的情形下，他是少數保有氣節的人之一。
董卓敗亡之後，皇甫嵩一直陪在漢獻帝身邊，不管是司徒王允還是李、郭二將，都對他尊重有加。他一度做到了太尉，但權力卻被架空，東漢末年群雄逐鹿的舞台上，他本來可以成為拯救者，卻因過分“愚忠”，最終隻能“靠邊站”。公元195年，皇甫嵩病逝，東漢帝國也在他離世後變得名存實亡了。