曹操大敗袁術，解除南麵的威脅之後，開始向東麵的徐州發展勢力。
這時徐州牧是陶謙。陶謙（字恭祖）是丹陽人，因參加鎮壓徐州黃巾軍有功，被東漢政府任為徐州刺史。董卓專權時，他沒參加關東聯軍討伐董卓，被董卓提升為徐州牧。董卓被殺後，陶謙同袁術、公孫瓚聯合，與曹操為敵。193年夏，曹操派人到琅玡（今山東臨沂市北）接父親曹嵩來兗州，在途中被陶謙部將張闓截擊，曹嵩被殺，一百多車財物被搶。這樣，曹操同陶謙的仇恨就更深了。
同年秋，曹操親率大軍，東征陶謙，連下徐州十多個城池，進抵彭城（今江蘇徐州市）。陶謙領兵前來會戰，被曹操打敗，退保郯縣（徐州治所，今山東郯城縣西南）。曹操攻郯不下，引兵向南攻陷取慮（今江蘇睢寧縣西南）、夏丘（今安徽泗縣）等地。這時，曹操軍隊的紀律還很差，曹操的複仇心理也很強，“所過多所殘戮”。陶謙急忙向青州刺史田楷求救。田楷派平原相劉備率數千人去支援。陶謙推劉備為豫州刺史，給他四千人，命他屯小沛（即沛縣，今江蘇沛縣東），抵抗曹軍。這時曹操“軍食亦盡”，便領兵退回兗州。
興平元年（194年）四月，曹操第二次東征陶謙，大軍進入徐州後，連下五城，一直掃蕩到琅玡、東海兩郡，“所過殘滅”。曹操前後“凡殺男女數十萬口”，曹操想拿下徐州治所郯縣。陶謙和劉備合軍在郯縣東郊堵擊，被曹軍打敗，陶謙準備逃向丹陽。正在這時，兗州境內發生了反對曹操的叛亂。曹操聞訊，急忙撤軍，趕回兗州。
這次叛亂是陳留太守張邈（字孟卓）發動的。張邈本來和曹操的關係很好，曾支持曹操在陳留起兵。關東聯軍討伐董卓時，曹操實際上是張邈的部將。曹操代劉岱出任兗州牧以後，地位居於張邈之上，張邈內心便有些不服。雖然曹操對張邈表示充分信任，在第一次東征陶謙時曾對自己家屬說：“我如果戰死了，你們就去投靠孟卓。”但張邈害怕終有一天會為曹操所滅，“心不自安”。這時張邈手下的陳宮由於曹操將兗州名士邊讓殺了（因“譏議”曹操），也產生疑懼，便勸說張邈乘曹操領兵東征內部空虛的時機，迎接在河內的呂布來一起統治兗州。張邈同意了陳宮的計劃，派兵勸迎呂布到濮陽來，並推呂布為兗州牧。
張邈和陳宮在兗州統治已十多年，尤其是在陳留郡和東郡，有深厚的潛在勢力，因此他們一起來反對曹操，立刻“郡縣皆應”。隻有兗州治所鄄（音絹，juàn）城（今山東鄄城縣北）以及東郡的兩個屬縣範和東阿，還在曹操手中。同時，鄄城城內不少將吏也與張邈通謀，形勢對曹操來說的確是危險的。這時留守鄄城的荀彧，沉著冷靜，他一方麵派人將張邈叛變的消息通知曹操，一方麵派人把駐紮在東郡的大將夏侯惇調回鄄城。在夏侯惇率領本部人馬回到鄄城的當夜，就把在城內通敵的將吏數十人殺掉，安定了軍心。荀彧還派程昱到範和東阿，鼓勵當地官兵“拒城堅守”，等待曹操回軍。
呂布軍隊在鄄城、範、東阿等地的軍事行動還未取得多少進展，曹操的軍隊便趕回來了。
同年八月，曹操圍攻呂布占據的濮陽，在濮陽大姓田氏的幫助下，率軍攻入東門，但巷戰不利。他險些被呂布的騎兵抓住，冒著火焰從東門逃出，左手也被燒傷了。
濮陽一仗失利，曹操軍隊的士氣受到很大影響。曹操不顧傷痛，親自到各軍撫慰將士，表彰有功之人，並鼓勵他們做好攻城的準備，繼續向呂布進攻。
從五月到八月，雙方戰爭持續了一百多天。呂布的糧食用盡，退兵山陽（今山東金鄉縣西北）。曹操也因軍隊乏食，在九月回到鄄城。
曹操因兗州大部分地區喪失，戰場上不順利，加上災荒嚴重，糧食難於籌集，兵士因饑餓有些逃離軍隊，處境是相當困難的。就在這時，袁紹派來說客，表示願意同曹操繼續保持聯盟的關係，但要曹操把家屬作為人質，送往冀州鄴城。袁紹在曹操同呂布激戰的時候，不來支援曹操，這時表示友好，實際上就是想乘人之危，借機吞並曹操。在中國古代，帶兵官的家屬，常被當成抵押品，有個專門的名詞叫做“質”或“質任”。在敵對勢力之間，強弱之間，上下之間以親屬作為抵押品，是常見的現象。有了活人抵押作保證，就可以強迫別人服從，否則就把人質殺掉。袁紹就是以強者的身份要曹操送人質的。曹操認為這樣做是“恥辱”，斷然拒絕了。