這一年，著名的謀士荀彧（音域，yù）投奔到曹操的麾下。荀彧字文若，潁川潁陰（今河南許昌南）人，有“王佐之才”。董卓之亂後，荀彧避亂至冀州，先投靠韓馥，後依附袁紹。經過一段觀察，他發現袁紹有許多弱點，終將成不了大事，便又離開袁紹投奔到曹操麾下。曹操同荀彧長談之後，發現他很有才智，非常高興地說：“你就是我的張子房（張良）啊！”《三國誌·魏誌·荀彧傳》。曹操以漢高祖劉邦的重要謀士張良來比荀彧，可見他對荀彧的重視。在以後曹操統一北方的事業中，荀彧起了很大作用。
第二年，青州黃巾軍入兗州，先攻下任城（今山東濟寧市），殺死任城相鄭遂，接著向東平（今山東東平縣東）進軍。兗州刺史劉岱截擊黃巾軍，被黃巾軍殺死。這時曹操正準備以東郡為基地，擴充勢力。當劉岱死後兗州“州中無主”的消息傳來，東郡人陳宮為了使曹操占據兗州，去做說客。他對兗州的大小官員說：
現在全國處於動亂之中，州中又處於無主的狀態。曹東郡有治世之才，如果由他出任本州牧，一定能夠負起阻擊黃巾軍的任務，並且可以保護本州百姓，使地方得以安寧。《三國誌·魏誌·武帝紀》裴注引《世語》。
這時曹操的故友鮑信，也竭力說服大家接受了這個意見。於是鮑信和兗州治中萬潛親自趕到東郡，把曹操迎到兗州，做了兗州牧。曹操時年三十八歲。
兗州東接青州、徐州，西部南部連豫州，北通冀州、幽州，南下江淮，屬下有八個郡，轄區包括今山東西南部、河南東部的廣大地區。
曹操得到了兗州地盤，而且得到了兗州軍隊，還得到了兗州有名的謀士程昱（字仲德）。原來劉岱推薦程昱為騎都尉，程昱以有病推辭不就。曹操與程昱長談後，二人很是投合，曹操任命他為壽張令，他欣然接受了。當程昱準備上任時，鄉親中有人問他說：“你前後的態度為什麼相反呀？”他笑而不答。
接著，曹操與鮑信進擊黃巾軍於壽張（今山東東平縣西南），被黃巾軍打敗，鮑信被殺死。後來曹操“明設賞罰，承間設奇，晝夜會戰”，青州軍遭受損失，不得不向濟北（今山東濟南市長青區南）方向撤退。曹操縱兵追擊。青州軍給曹操寫信說：“你過去在濟南，毀壞神壇，這個精神和我們黃巾軍之道相同。你似乎是個懂道理的人，但現在怎麼迷惑了。漢行已盡，黃家當立，新的天下就要出現，不是你的才力所能阻止得了的……”幻想取得曹操的合作。但曹操是統治階級的代表，不可能放棄對農民起義軍的鎮壓。他采用武裝鎮壓和誘降相結合的手段，迫使青州軍三十萬向他投降。曹操從其中挑選精銳五六萬人組成一支戰鬥力很強的隊伍，號為“青州兵”。
這期間曹操的武裝力量有了很大的發展。曹操出任東郡太守以後，山陽巨野（今山東巨野縣）的豪強地主李乾糾合數千家賓客和曹操聯軍。李乾及其子李整死後，其侄李典就率領宗族、部曲歸附曹操。勇將典韋也投到曹操所部夏侯惇的帳下。曹操領兗州牧後，任城地主呂虔也率領一批家兵歸附。泰山巨平（今山東泰安市南）人於禁，原為鮑信手下的普通兵士，前來投奔曹操。曹操根據他的才幹，提拔他為軍司馬。
這樣一來，曹操手下的戰將多了，軍隊增加了，又有了精銳的“青州兵”，他的武裝力量便進一步壯大了。這是曹操在兗州建立根據地的重要憑借。
曹操在兗州剛立住腳，就遭到袁術的進攻。兗州在袁術占據的南陽和袁紹占據的冀州的中間，袁術要向北發展勢力，必須首先占領兗州。192年冬，曹操剛擊降青州黃巾軍不久，袁術和公孫瓚就南北配合，同時向曹操和袁紹進攻。公孫瓚還派部將劉備為平原相，幫助青州刺史田楷、徐州牧陶謙，從東麵威脅兗州。這時，曹操表麵上繼續保持對袁紹的依附關係。年底，袁紹在龍湊（今山東平原縣附近）擊潰公孫瓚的主力，迫使他逃回幽州。第二年（193年），曹操在封丘（今河南封丘縣西南）等地打敗袁術，逼使他離開南陽（這和荊州牧劉表的進逼也有關），退居九江（郡治壽春，今安徽壽縣）。