由於曹操在初登政治舞台這段期間，表現了自己的才幹和勇氣，在政治上產生了很大影響，所以他一直不能忘懷。後來，當曹操晉封魏王時，還把當時推薦他做北部尉的京兆尹司馬防（司馬懿的父親）請到鄴城來，設酒款待，開玩笑說：“我今天還可以再去做尉嗎？”司馬防回答說：“過去我推舉大王時，大王正適合做尉啊！”《三國誌·魏誌·武帝紀》裴注引《曹瞞傳》。曹操聽罷，哈哈大笑。
177年，曹操出任頓丘縣令，不久征入朝廷為議郎（職務是應對顧問）。後來曹操的堂妹夫宋奇被宦官殺掉，曹操因與之沾點親戚關係，也被免職。180年二月，他再次被征為議郎。曹操不顧自身安危，給靈帝上書，為十多年前在“黨錮”事件中被宦官集團殺害的大將軍竇武、太傅陳蕃等申冤鳴不平。靈帝置之不理。
184年，黃巾起義，曹操被任命為騎都尉，隨皇甫嵩、朱儁鎮壓潁川的黃巾軍，由於鎮壓黃巾軍有功，遷任濟南（今山東濟南市東）相。濟南是宗室王國，按東漢製度，被分封的王隻能享受封區內的賦稅收入，無行政治民權力。國相就是中央派到王國處理政事的官吏，如同郡守。濟南所屬十幾個縣，縣官多數上通宦官權貴，下結地方豪強，依仗權勢，狼狽為奸，魚肉百姓，弄得地方上一塌糊塗。曹操上任後，一下子將縣官奏免了八個。這樣一來，大小官吏無不震恐，有的還逃入外郡，於是濟南地區“政教大行，一郡清平”。《三國誌·魏誌·武帝紀》裴注引《魏書》。
另外，濟南這個地方，官僚地主立祠廟祭祀祖先的風氣很盛。他們以此標榜祖宗“功德”，抬高自己的地位。官吏、商人利用“淫祀”（不合禮製的祭祀），欺詐人民，騙取錢財，“奢侈日甚”，而“民坐貧窮”，怨聲載道。對這種情況，曆任的國相，沒有一個敢去禁止。曹操到任後，把這些祠廟都毀掉了，並禁止再搞這種祠祀。
由於這兩件事牽涉到一些貪官汙吏、惡霸豪強，震動很大；而濟南境內的社會風氣也得到一定改觀。
中平四年（187年），曹操被任命為東郡太守，在“權臣專朝，貴戚橫恣”的情況下，他不願意違背自己的誌向去迎合權貴；過去已經多次觸犯了他們，再繼續幹下去，擔心會連累全家，便托病不就，歸還鄉裏。他在譙縣城東五十裏的地方，蓋了一所幽雅的住宅，讀書行獵，自得其樂，想遊離於東漢腐朽政局之外，等天下太平時，再出來大顯身手。第二年，靈帝為了加強京城禁軍的力量，成立了西園新軍，設置八校尉統領。曹操被任為典軍校尉，成為京師禁軍首領之一（總指揮官是上軍校尉蹇碩，中軍校尉袁紹也位居其上）。曹操的政治熱情又重新燃燒起來，他感到掌握一部分軍權，是發展自己勢力的好機會，於是又到洛陽上任去了。
189年，靈帝死，少帝劉辯繼位後，曹操和袁紹都參與了外戚何進集團誅殺宦官的密謀。袁紹建議何進召董卓入京，盡誅宦官，曹操不同意。他說：“宦官是曆來都有的，問題是君主把大權交給了他們，以致鬧成現在這個樣子。現在要治他們的罪，應當誅殺首惡，隻需一個執行的獄吏就夠了，何必紛紛把外將召來呢？想盡誅宦官，事情必定泄露，我看是要失敗的。”《三國誌·魏誌·武帝紀》裴注引《魏書》。何進不聽，果然被宦官殺害。董卓進京後，想擴大自己勢力，拉攏曹操，任命他做驍騎校尉。曹操認為董卓是一時勢盛，最終難免失敗，便拒絕與他合作，為了免遭毒手，在一個夜晚帶著幾個親信逃出了洛陽。
《三國演義》第四回“謀董卓孟德獻刀”，寫曹操逃出洛陽之前，向王允借寶刀，自告奮勇去刺殺董卓，當董卓在床上向內側臥，曹操拔刀要刺時，被董卓在衣鏡中看見，曹操急中生智，隨機應變，急忙跪下說：“操有寶刀一口，獻上恩相。”董卓未生懷疑，信以為真，收納了寶刀，放走了曹操。此事未見史書記載，當是小說作者為了突出曹操善權變的形象而虛構的情節。