曹操經過成皋（今河南滎陽縣西），借宿故友呂伯奢家，正趕上呂伯奢不在家，他兒子和幾個同伴搶曹操的馬匹和財物。曹操和隨從把他們殺死，繼續東逃。對曹操殺呂伯奢家人一事，曆史記載頗不一致。主要有兩種情況，一是王沈《魏書》中所說的上述情況；一是孫盛《雜記》中說的曹操疑心大，以為呂伯奢的家人要殺他，他先動手殺的，並且說：“寧可我負人，不要叫人負我。”《三國演義》根據後者進行虛構，將這句話變成了“寧教我負天下人，休教天下人負我”。但不管哪種曆史記載都沒有說曹操殺了呂伯奢，都沒有提到陳宮。《三國演義》寫陳宮跟隨曹操，同曹操一起殺了呂伯奢全家，很是後悔，並勸曹操不要殺呂伯奢。這樣虛構，是為了突出曹操殘忍自私、狡詐狠毒的藝術形象。來到中牟（今河南中牟縣東）時，一個亭長發現他形跡可疑，把他扣留起來，送往縣衙門。這時縣令雖然已接到董卓追捕曹操的通緝令，但不知道送來的就是曹操。縣衙門的一個功曹（姓名不詳）知道送來的是曹操，但不說穿。他認為“世方亂，不宜拘天下雄儁”，便在縣令麵前說情，把曹操放了。
接著曹操去陳留（今河南開封市東南），準備起兵討伐董卓。陳留郡太守張邈，原來是曹操的好友。陳留郡屬兗州，兗州刺史劉岱是反董卓的。因此，曹操到達陳留之後，他們允許曹操在這裏招募軍隊，積蓄力量。
曹家本來有一部分財產在兗州境內，曹操就用來作為訓練軍隊的費用。陳留人衛茲也拿出家財幫助他。曹操共招兵五千人，憑借這部分兵力，於190年同關東諸軍一起討伐董卓。
曹操孤軍進攻董卓失敗後，感到要成就事業，光靠別人是不行的，必須依靠自己獨立的武裝力量，於是便下揚州募兵。揚州刺史陳溫、丹陽太守周昕給他四千人。走到龍亢（今安徽懷遠縣西），這些人大部分叛逃了，餘下的隻有五百人。這時曹洪帶領家兵千餘人到了龍亢，不久他自己又在銍縣（今安徽宿州市西南）等地收兵千餘人，組成了基本武裝隊伍，其中家兵千人是這支隊伍的骨幹。於是，曹操再次北上。
曹操到河南前線後，直接與屯駐河內（今河南武陟縣西南）的聯軍盟主袁紹接觸。袁紹見到曹操後，問曹操：“如果我們討伐董卓不成功，你看什麼地方可以發展勢力？”曹操反問他：“你有什麼具體打算呢？”袁紹回答說：“我南麵占到黃河，北麵占據燕、代，聯絡烏桓，然後向南爭奪天下，這樣總可以成功了吧！”曹操明確表示自己的意見說：“憑借山川之險，占據一方去發展勢力是很不夠的。我要任用天下有智力的人，用正道統禦他們，大業一定能成功。”《三國誌·魏誌·武帝紀》。袁紹強調的是靠地盤（據地），曹操強調的是靠智力（禦智），顯然，曹操比袁紹高明。
袁紹想使自己的勢力有機會得到發展，便同冀州牧韓馥謀立幽州牧宗室劉虞做皇帝。曹操反對說：“我們大家起兵，是為了消除董卓的擅權和暴亂，所以得到了遠近的響應，現在你們想要再立第二個皇帝，天下就要更亂，怎麼收拾得了。諸君北麵，我自西向。”《三國誌·魏誌·武帝紀》裴注引《魏書》。明確表示要獨立西向長安，剿滅董卓，維護漢家的統一天下。袁紹還給袁術寫信，袁術也不同意。袁紹、韓馥派使者到劉虞處要他稱帝，劉虞又堅決不同意。袁紹等隻得作罷。
這時，濟北相鮑信向曹操建議說：“袁紹以盟主的資格，利用權力，發展個人勢力，必將發生變亂，成為第二個董卓。現在要除掉他，力量還不夠，可以向黃河以南發展勢力，站穩腳跟，等待形勢的變化。”《三國誌·魏誌·鮑勳傳》裴注引《魏書》。曹操很讚同這個意見，於是率領以曹氏子侄和夏侯氏為骨幹的精兵，在黃河南岸展開了建立根據地的鬥爭。
四、兗州的爭奪——曹操建立根據地
初平二年（191年），青州黃巾軍和河北黑山軍，又以燎原之勢發展起來。這年秋天，十多萬黑山軍在於毒、白繞、眭固的率領下，進攻冀州的心髒鄴城（今河北磁縣南）和東郡（屬兗州），並有渡過黃河南攻兗州腹地的動向。而青州號稱“百萬”的黃巾軍，因袁紹手下青州刺史臧洪的壓力，正分兩路向河北移動，準備與黑山軍會合。曹操向河南發展的機會來了。
這時，袁紹剛領冀州牧不久，他擔心兩支起義軍一旦會師，更威脅他在冀州的統治，便想了一個堵擊的計劃。他以盟主的名義，派曹操引兵進入東郡，圍剿黑山軍。在鎮壓農民起義這一點上，袁紹和曹操的立場是一致的，但各自的打算不同。袁紹是想通過鎮壓起義軍，把勢力擴展到兗州。他並不了解曹操，以為曹操能附屬於他。曹操是想利用這一機會，取得一塊地盤，然後另圖發展。曹操在濮陽（今河南濮陽縣西南）鎮壓了黑山軍的白繞部，袁紹就任命他為東郡太守。