經過一番艱苦的準備，195年春，曹操重振旗鼓，開始了收複兗州失地的戰鬥。他首先敗呂布於定陶（今山東定陶縣西北），夏天又在巨野大敗呂布，並將呂布的將領薛蘭殺死。正在這時，傳來了徐州牧陶謙病死的消息，曹操想先去攻取徐州，然後回來打呂布。荀彧勸阻說：
過去，漢高祖（劉邦）保關中，光武帝（劉秀）據河內，都是先紮牢根本，再進取天下。有了根據地，進可以戰勝敵人，退可以堅守。雖然他們也有困難失敗的時候，最終還是完成了統一大業。將軍本來是在兗州起兵的，取得不少勝利，百姓無不歸心悅服。兗州是天下的要地，雖然現在有些殘破，但還容易據以自保，這裏是將軍的關中、河內，不可以不先鞏固它。現在對呂布用兵已取得重大勝利，應設法進一步打敗他。如果分兵去攻徐州，兗州有失掉的危險。如果徐州拿不下來，將軍當歸向何處呢？《三國誌·魏誌·荀彧傳》。
荀彧的這個鞏固根據地的意見，被曹操愉快地接受了。
接著，曹操派兵搶收麥子，解決緊迫的軍糧問題。呂布、陳宮領兵萬餘人來戰，曹操用設伏兵的辦法，將他們打敗。呂布逃向定陶，曹操引兵追趕，經過激戰，將定陶拿下。呂布率領殘兵敗將向徐州逃去。曹操分兵收複了兗州的一些反叛郡縣。
張邈跟著呂布逃向徐州，派他弟弟張超保護家屬逃往雍丘（今河南杞縣）。八月，曹操進圍雍丘，到十二月將城攻下，張超自殺。張邈在九月間聽到雍丘被圍的消息，想到袁術那裏去請救兵，路上被部下殺死。這時候，朝廷正式拜曹操為兗州牧。
這樣，兗州全部掌握在曹操手中。他在河南的這塊根據地基本鞏固了。這是曹操以後戰勝其他對手、統一北方的基本條件。
五、“奉天子以令不臣，修耕植畜軍資”——曹操戰勝對手的重要方針
早在192年曹操代劉岱為兗州牧之後，兗州治中從事毛玠就曾對曹操說：
現在天下分裂，皇帝西遷，老百姓不能從事生產，饑餓流亡，公家沒有一年的儲備，百姓得不到一點安定，這是難以維持長久的。現在袁紹、劉表雖然士民眾多，看起來強大，但都無長遠考慮，不是建樹牢固基礎的人。打仗要師出有義名，守位要靠經濟力量，我們應該奉天子以令不臣，修耕植以畜（積儲）軍資。這樣，霸王之業，可得成功。《三國誌·魏誌·毛玠傳》。
曹操認為他說的很有道理，便著手去做。但由於兗州的統治沒有穩定下來，實行起來有很多不便。曹操打敗呂布在兗州的勢力後，主客觀條件有了變化，便努力貫徹這兩項方針，取得了很大成功。
先說他“奉天子以令不臣”。
前邊已經講過，獻帝在長安先受董卓控製。王允、呂布殺董卓之後，王允掌握了大權。接著涼州軍閥李傕、郭汜等殺死王允，趕走呂布，獻帝又落入他們手中。
為了接近朝廷，表示效忠皇帝，曹操在192年底，曾派使者前往長安。途中被河內太守張楊攔阻，不讓過境。在張楊處的騎都尉董昭勸張楊說：“袁紹、曹操雖是同盟關係，但看形勢，他們不會長久聯合。曹操目前雖然弱小，卻是天下英雄，將來定能發展，應當同他結交。現在是個好機會，最好幫助曹操同朝廷接上關係，並且上表推薦他。如果事情成功，曹操是不會忘記你的好處的。”張楊聽後，立即設宴款待使者，並上表推薦曹操。董昭還給李傕、郭汜等人寫信，以“致殷勤”，請他們對曹操持友好態度。曹操使者到達長安後，李傕、郭汜怕曹操不是出於誠意，想把使者扣留下來。這時黃門侍郎鍾繇勸阻說：“現在英雄並起，各自為政，唯獨曹操心存王室，如果對他忠於朝廷的表示不予接受，恐怕有失眾望。”李傕、郭汜隻好改變態度，用禮物“厚加報答”，但不給曹操加官晉爵，對他的兗州牧地位，也不予正式承認。
興平二年（195年）二月，涼州軍將領之間火並，李傕先殺死右將軍樊稠，接著又同郭汜互相殘殺。他們在長安城內外，混戰好幾個月。李傕為了取得優勢，放火燒掉宮殿，把獻帝從宮中移到自己兵營中來。郭汜則扣住公卿大臣作為人質。雙方鬧得不可開交，力量都削弱了許多。六月間，李傕部將楊奉叛變，帶走了不少軍隊，李傕的兵力更削弱了。在這種情況下，涼州軍的另一個將領鎮東將軍張濟為李傕、郭汜調解，雙方同意講和，把挾持的獻帝和公卿們也放出來了。