獻帝初平三年（192年）春，曹操在頓丘駐軍，於毒等進攻東武陽。此時曹操卻命軍隊西行入山，向於毒等的大本營進攻。曹操部下將領都請求援救東武陽，曹操說：“把我們西行的消息透露給叛賊，他們如果回來救援，東武陽的包圍將不救自解；如果他們不回來，我們定會將他們的營寨攻下，而他們肯定不能攻下東武陽。”於是，率軍出發。於毒聽此消息後，果真放棄東武陽回救大營，曹操乘機進攻內黃，打敗黑山軍眭固部及南匈奴單於於夫羅。
獻帝初平二年（191年），青州軍大舉進攻渤海郡，在東光遭到公孫瓚的攻擊，青州軍因此而失敗，傷亡慘重。次年，青州軍向兗州進軍，先攻下了任城（今山東濟寧），殺死任城相鄭遂，接著又進攻東平。兗州刺史劉岱準備率兵還擊，濟北相鮑信勸阻他說：“如今青州軍力量強大，擁兵百萬之多，百姓都十分恐慌，士兵也無鬥誌，不可與他們交戰。但是，青州軍沒有軍需物資，堅持不了多長時間，我們不如暫且保存實力，固守城池，敵軍求戰不得，攻城又不下，時間一長他們的力量定會削弱。到那時，再挑選精銳部隊，鎮守關口要塞，定可將他們擊敗。”劉岱不聽其言，率軍和青州軍交戰，結果被青州軍殺死，兗州一時沒人主持事務。
曹操的部將陳宮對曹操說：“劉岱已死，州中無主，斷絕了與朝廷的關係，我想說服州中的主要官員，同意由您主持州中事務。以此為資本，進而奪取天下，這可是霸王之業。”接下來，陳宮對兗州的主要官員說：“如今天下分裂而州中無人主持事務，曹操為一代英才，如能迎接他做州牧，必然能使百姓安定。”在鮑信的幫助下，陳宮終於說服了兗州的主要官員。於是，曹操兼任了兗州牧。
曹操到任之後，便率軍前往壽張東攻打青州黃巾軍。黃巾軍勇敢精悍，曹操因勢單力薄，沒能取勝。鮑信也被黃巾軍殺死。鮑信是曹操的舊友，鮑信死後，曹操異常傷心，下令懸賞尋找鮑信的屍體，但沒能找到，隻好讓人刻了鮑信的木像。下葬之時，曹操大哭不止。黃巾軍與曹操經過晝夜激戰，中了曹操埋伏，損失慘重，也退出兗州，向濟北撤退，曹操卻緊追不舍。黃巾軍給曹操寫信說：“你過去在濟南，毀壞神壇，這同我們黃巾軍信奉的太乙是相同的。你像是懂道的人，現在怎麼迷惑了。漢命已盡，黃家當立，這是天命，不是你所能阻止得了的。”曹操見信之後，一麵大聲斥罵，寫信給黃巾軍，指出投降的出路；一麵設伏兵，與黃巾軍晝夜激戰，終於將黃巾軍擊敗，俘獲兵士三十餘萬人，男女人口百餘萬人。曹操挑選其中精銳之士，組成軍隊，稱為“青州兵”。
之後，曹操在兗州剛剛立足，就遭到袁術的攻擊。獻帝初平四年（193年）初，袁術受到劉表的威脅，率軍進入陳留，移駐封丘。黑山軍的一支和南匈奴於夫羅全都歸附了袁術。曹操當時駐軍於鄄城，率軍迎戰。正在這時，劉表殺了袁術的部將孫堅，切斷了袁術的糧道。曹操乘機擊退袁術，袁術被迫退居淮北。曹操打敗袁術後，於獻帝初平四年（193年）還軍定陶（今屬山東）。
初平四年（193年）秋，曹操向徐州進兵，為的是向東南擴張其勢力。徐州當時是陶謙的勢力範圍。陶謙字恭祖，丹楊人。他年輕時好學，是位儒生，出任州郡吏，被舉為茂才，當上盧氏縣令，又被升遷為幽州刺史。後任命為議郎，任車騎將軍張溫的參軍事，被派前去征討韓遂。正逢徐州黃巾軍起義，陶謙就做了徐州刺史，征討黃巾軍，將黃巾軍打得四處逃散。董卓叛亂後，各州郡都擁兵自重，天子在長安建都，與外界完全斷絕聯係。陶謙派使者向天子進獻，被天子提升為安東將軍、徐州刺史，封溧陽侯。陶謙肆意妄為，廣陵太守琅琊人趙昱是徐州名士，因為忠誠正義而被他疏遠；曹宏等奸讒小人，卻反而受重用。於是刑罰、政事弊端開始出現，善良的人基本上都被他迫害，社會由此動蕩起來。下邳的闕宣自稱為帝，陶謙最初與他聯合四處搶掠，後來殺死了闕宣，收編了他的部隊。獻帝初平四年（193年）夏，曹操之父曹嵩在琅琊避難，曹操派人把他父親接到兗州來。途中，曹嵩被陶謙部將堵截，曹嵩被殺，一百多車財物被搶走。曹操深恨陶謙，於秋天發動了對徐州的進攻，連續攻克十餘城。到達彭城時，與陶謙軍展開激戰。陶謙戰敗，退守郯縣。