靈帝中平元年（184年）春，黃巾起義發生，曹操被任命為騎都尉，後來被提升為濟南國相。曹操到任後，奏免了其中八縣長吏。於是豪強被他震懾，不敢繼續作威作福，隻能逃往其他地方繼續作惡。濟南國在曹操治理下，政治有了一定程度的清明。
曹操在濟南為官時間較久，後來被征入朝。當時宦官當權，曹操隻做了議郎。朝廷曾任命曹操做東郡太守，他沒有赴任，自稱身體有病，返歸鄉裏。曹操這時在政界已有相當聲望，頗有作為。這個時候的曹操，也想過改善吏治，扶危濟困。董卓擅自廢立皇帝，曹操加入了袁紹領導的討伐董卓聯軍，當聯軍已經解散的時候，曹操還帶著千餘人的部隊在河內寄居，沒有固定地盤。這時，黑山（今河南浚縣西北太行山區）起義軍於毒、白繞、眭固等部十餘萬人攻入東郡，曹操帶兵討伐，大破敵軍。袁紹為了拉攏曹操，上表推薦曹操為東郡太守。
英雄之間的對弈
兩種不同的政治路線，在為了一個目標——爭奪霸權而努力的時候，最後的結果必然是一個消滅另外一個。如果兩方政治路線相同，還可以通過合作然後內部融合的方式實現霸權，但是袁紹和曹操之間的差異太大了，二者無法相容，甚至難以溝通，所以，他們的爭奪也是早晚的事情。不過，袁紹在當時已經是諸侯的領袖，而曹操還隻是一個單幹戶。
在地方的這段時間，曹操不斷和黃巾餘部進行戰鬥，並且招安了很多青州地區的黃巾舊部。隨著勢力的擴張，和對當時中原地區盟主袁紹所作所為的不滿，曹操本人並不以占有一塊領地為滿足。曹操所占據的兗州為戰略要地，各軍閥對此虎視眈眈，所以一連串的戰爭隨之而來。漢獻帝初平四年（193年），南陽的軍閥、袁紹的同族兄弟袁術引兵進犯曹操，被曹操擊敗後逃奔揚州。
曹操的父親曹嵩於中平五年（188年）罷太尉官後，曾回故鄉譙縣，因躲避兵亂，移居徐州琅邪郡。初平四年（193年），曹嵩又移家往兗州出發去投奔曹操，路上遭到徐州牧陶謙屬下將士搶劫，曹嵩及少子曹德遇害。於是曹操以報父仇為名，大興撻伐之師，接連攻下徐州十幾個縣城。陶謙退保郯縣（今山東郯城），曹操久攻不克，轉而對附近的幾座城池進行屠城，殺掉了男女老少數十萬人，全城雞犬不留。曹操攻打陶謙，一方麵確實是為了報仇，另外一方麵，也是他為了謀求霸主地位而擴大勢力的鬥爭。
曹操的緊急攻打，讓陶謙感覺吃不消，於是陶謙告急於青州刺史田楷，田楷和劉備來救援陶謙，曹操軍隊糧草不足，隻能撤軍。然而過了不到半年，曹操再次率軍攻徐州，一直攻到東海郡，所到之處大開殺戒。當曹操瘋狂殺人之際，兗州卻發生了兵變，他的手下陳宮與張邈合謀迎接呂布入兗州，曹操隻得再次退兵。
曹操回師之後，開始了和呂布的戰鬥，爭奪兗州的戰爭頗為激烈：曹操首先於夜間襲破呂布屯於濮陽西的部隊，尚未退還，呂布親自率軍前來搏戰，自日出戰到日落才退兵。後來，兩軍相持不下，最後因為蝗蟲為災，兩軍的糧草全部耗盡，隻能各自退兵。這時袁紹乘機派人遊說曹操，想讓曹操去依靠他。曹操失去了兗州根據地，糧草也很缺乏，也有暫時投靠袁紹之心，隻因為謀士程昱的勸阻才作罷。
興平二年（195年），曹操打敗呂布，收複了兗州全部縣城。
經過了艱苦的爭鬥，曹操覺得這樣做一個地方豪強，朝不保夕，隻有謀求向中央發展才有前途。恰巧，興平二年的時候，楊奉、董承、韓暹、李樂、胡才、張楊等迎接漢獻帝從長安東歸河東，曹操就決定把漢獻帝控製在自己手中，為自己謀求一個統治的合法地位。
那麼，與曹操進行爭鬥的另一個大軍閥袁紹對漢獻帝是什麼想法呢？其實，袁紹手下的謀臣沮授也曾向袁紹建議派兵迎接獻帝到鄴，然後挾天子討不從命。但這一建議遭到淳於瓊等人的反對，他們以為當今群雄並峙，每個人都想做皇帝，如果迎得天子，每事都要上表請奏，諸多不便。袁紹本人既早已不忠於獻帝，又自恃宗族強大，有自己黃袍加身稱帝的意思，故而不出兵迎接獻帝，這恰恰給了曹操一個難得的機會。
建安元年（196年）正月，漢獻帝在韓暹、董承衛護下，回到洛陽。曹操當時駐兵許昌，有意迎帝，他手下的部屬有的認為山東地區還沒有平定，韓暹、楊奉兵力尚強，不可倉促之間製服。而曹操手下的謀士程昱、丁衝等人則力主迎接皇帝。於是曹操派遣曹洪率領軍隊到洛陽迎天子，董承等占據險要關口阻擋曹軍，曹洪沒有成功。