公元190年，他帶兵參加了以袁紹為盟主的關東軍，討伐董卓。關東軍雖然打著反董的旗號，實際上卻按兵不動，對董卓的遷都不加製止。曹操對此十分氣憤。在一次關東軍諸將領的集會上，他慷慨陳辭，並分析了此時進軍的好處。盡管他講得義正辭嚴，頭頭是道，但袁紹卻不予理睬，其他將領更是無動於衷。曹操實在忍不住了，就獨自帶著部隊從酸棗向西進軍了。
董卓遷都長安後，仍在洛陽駐兵。他聽說曹操獨自帶著人馬來了，根本不放在眼裏，派大將徐榮堵在汴水（今河南省滎陽縣北）。等到曹操帶著軍隊趕到汴水時，徐榮早就布好了陣勢。曹操同敵人奮戰到天黑，卻終不是對手。曹操撥轉馬頭就跑，徐榮在後麵緊緊追趕，箭像雨一樣射過來，曹操的肩膀被射中了。
當他帶著箭傷回到營地時，其他將領正在飲酒作樂。曹操激動地說：“各位將軍如此不圖進取，難道不怕天下人笑話嗎？”大家根本不理他，仍然吃著喝著。隻有陳留太守張邈說了一句：“孟德呀！還是先養好你的箭傷吧！”
曹操經過這次討伐戰鬥，覺得跟這些人一起，根本成不了大事，就帶著部隊到了兗州，有曹仁、曹洪和夏侯淳兄弟輔佐，兵不多將卻強。他在兗州的勢力有了飛速的發展。曹操在東郡得到了一位大謀士荀彧（yù）。荀彧幫曹操出主意說：“董卓的暴虐到了極點，他必定會在動亂中喪命。”他建議曹操專心在兗州方麵擴張。曹操接受了他的意見。
此時，青州的黃巾軍有了很大的發展。他們浩浩蕩蕩地從青州湧入兗州，殺死了兗州刺史劉岱。可是黃巾軍隻會流動作戰，不懂得把兗州作為自己的根據地。劉岱死後，兗州就群龍無首了。消息傳到濮陽，東郡太守曹操他派出謀士陳宮去說服兗州官員。這樣，曹操不費一兵一卒，輕易地當上了兗州牧。
曹操深知，若想稱霸四方，最重要的是必須有強大的軍事力量，他派兵和青州黃巾軍作戰，打了幾場勝仗，黃巾軍一遇挫折，就給曹操寫來一封信。信中說：“以前您在擔任濟南相時，毀掉了600多座邪神祠廟，得到老百姓擁護。您應該看出漢朝的氣運已盡，黃天當立，這是天意，不是您的才力所能挽回的。”曹操從黃巾軍的來信中看出他們沒有鬥誌，而且對自己還挺欽佩。於是，他以軍事進攻為主，以誘降為輔。青州黃巾軍缺乏能幹的統帥，放下武器投降了。曹操從這支農民軍中挑選出青壯年30萬人，稱為“青州軍”。從此，青州兵就成為了曹軍的骨幹。
從東郡太守到兗州牧，從將多兵少到收編了30萬青州兵，曹操成了一個勢力超群的大軍閥。投靠他的謀士良將越來越多。他不僅脫離了袁紹，成為一支獨立的勢力，而且也漸漸敢於和袁紹較量了。
公元196年，曹操把逃難洛陽的漢獻帝迎到了許城（今河南許昌），打那時候起，許城成了東漢臨時的都城，因此稱為許都。
曹操在許都給漢獻帝建立了宮殿，讓獻帝上朝理政。曹操自封為大將軍，開始用漢獻帝的名義向各地州郡豪強發號施令。
曹操用皇帝的名義號令天下，又采用屯田辦法，解決了軍糧問題，還吸收了荀攸、郭嘉、滿寵等一批有才能的謀士，他的實力就更加強大起來了。