這年冬天，太祖得降兵三十多萬，收編了其中的一精一銳，組成“青州兵”。這時袁術和袁紹產生了矛盾。袁術向公孫瓚求援，公孫瓚派出劉備、單經、陶謙幾支人馬援助袁術，結果被太祖和袁紹的聯兵一一擊潰。
初平四年(193)春，太祖移軍鄄城。荊州牧劉表切斷袁術的糧道，袁術領兵進入陳留郡，駐紮在封丘，黑山賊寇餘部和於夫羅等都援助他。袁術派部將劉詳駐守匡亭，太祖率兵攻打劉詳，袁術帶兵救援，雙方激戰，太祖大獲全勝。袁術兵敗，退守封丘，太祖率軍包圍，袁術又逃往襄邑。太祖追到太壽，決開渠水灌城。袁術逃往寧陵，太祖乘勝追擊，袁術隻得逃往九江。這年夏天，太祖收兵，駐紮在定陶縣。下邳縣闕宣聚集數千人，自稱皇帝；徐州牧陶謙也與他一同出兵，攻占泰山郡的華縣、費縣，攻打任城。秋天，太祖征討陶謙，攻克城池十多座，陶謙緊閉城門，不敢出來。這一年，孫策受袁術的派遣過江，幾年後就占據了江東一帶。
漢獻帝興平元年(194)春，太祖從徐州返回兗州。當初，太祖的父親曹嵩解職歸隱到譙縣，因發生董卓之亂，到琅笽避難，結果被陶謙殺害，所以太祖立誌討伐陶謙，以報父仇。這年夏，太祖派荀..、程昱駐守鄄城，自己則領軍征討陶謙，接連攻克五座城池，奪取了直至東海郡的大片地盤，收兵經過郯縣時，陶謙的部將曹豹和劉備截擊太祖，被太祖擊敗，太祖又乘勝攻下襄賁縣，所經之處，大多進行殘酷的屠一殺。適逢張邈和陳宮叛亂，迎接呂布，各郡縣紛紛響應。荀..、程昱保住了鄄城，範縣和東阿縣也因死守而幸免，太祖聞訊，領兵返回。呂布一到，就進攻鄄城，攻城不下後領兵向西，駐紮在濮陽。太祖說：“呂布一天之中便得一州，卻不占領東平，切斷亢父、泰山之間的通道，憑險要地勢攔擊我，反而駐兵濮陽，我因此斷定他沒有大的作為。”於是率軍攻打呂布。呂布出戰，先派騎兵衝散“青州兵”，太祖軍陣勢大亂，他飛馬冒火突圍，掉下馬來，燒傷了左手掌。行軍司馬樓異扶太祖上馬，帶他衝出重圍。未到營地之前，眾將因不見太祖，十分害怕。太祖強自支撐，帶傷慰問部隊，命令部隊趕做攻城的器械，準備再次進軍攻打呂布，兩軍相持一百多天。這時鬧起了蝗災，百姓們饑餓不堪，呂布軍中的糧食也吃光了，於是雙方各自撤兵。這年九月，太祖回到了鄄城。呂布兵至乘氏縣，被當地人李進擊敗，東退駐守山陽。此時袁紹派人勸說太祖，想與太祖和解，聯合行動。程昱勸阻太祖，太祖聽從了他。當年十月，太祖來到東阿縣。這一年穀米一斛值五十多萬錢，以至於“人吃人”，太祖便解散了剛招募來的新兵。此時陶謙已死，劉備接替他做了徐州牧。