其後遷幽州刺史，被徵拜為議郎。
中平二年三月，北宮伯玉等率領羌胡進犯三輔，靈帝派遣左車騎將軍皇甫嵩率軍討伐，皇甫嵩表請武將隨行，召拜陶謙為揚武都尉一同出征，將叛軍擊敗。七月，皇甫嵩因先前得罪中常侍趙忠、張讓，在他們的誹謗下被貶官削爵。
中平五年十月，青、徐兩州黃巾複起，攻打郡縣。朝廷以陶謙為徐州刺史，鎮壓黃巾軍。
自此之後，陶謙就漸漸的在徐州坐大。坐大之後的陶謙，就開始喜貴嫌貧，他倒是忘記當初還沒有得勢的時候，甘公看出他的不凡，才將女兒嫁給他。因此，陶謙就跟袁紹一個德性，喜歡任用世家大族的子弟，而看不起寒門子弟。
像陶謙剛開始到達徐州的時候，就不是很看得起臧霸，沒有去招安人家。因此，臧霸才一直不待見陶謙。除此之外，還有孫觀、徐盛、呂岱等人皆是出自徐州寒門，沒有得到陶謙的重用。最後他們分別到曹操和孫權麾下，得到重用，皆成一方大將或者一州刺史。陶謙和袁紹有著同樣的用人愛好，敗亡也是必然的。
卻說曹豹乃是徐州大族曹家的子弟，陶謙自然極為重用。而且，曹豹在軍事上有點能力，因此，陶謙將徐州大部分的軍權都交給曹豹來掌控，除了他自己那三萬丹陽兵。在陶謙死後，劉備上任為徐州牧。劉備是個梟雄，自然不會讓軍權落在別人的手中。可是，劉備才上任沒多久，當然不能向曹豹下手，畢竟曹豹是陶謙親自任命，若是劉備剛上任就對陶謙的舊吏下手，必定會引得人心惶惶，劉備也就坐不穩徐州牧這個位置。因此，劉備決定慢慢的將曹豹給搞定。
結果，曹豹還沒有搞定，呂布來了，曹豹和呂布兩人王八對上眼，一合計，把劉備給坑了。曹操掌控徐州軍權，奪下徐州自是容易，因此，曹豹的功勞是最大的。
但是，有一點卻是讓人很疑惑。呂布何等英雄人物，他的妻妾俱是絕美的女子，即使是正妻嚴氏，那容貌也堪稱絕色。曹豹長得五大三粗，女兒不知何樣，為何會被呂布看上？當然，曹豹的女兒究竟是何模樣，待日後再說，現在繼續說說徐州的事。
陶謙淡淡的瞥了一眼曹宏，心中暗罵蠢貨。
若是能夠幹的過曹操，還用你在這裏廢話，勞資早就率兵去打了。沒看到前次跟別人聯合都被曹操打的屁滾尿流，這次難道就因為在徐州地盤上戰鬥，己方就有主場優勢？
不過，陶謙也沒有責罵曹宏，這曹宏畢竟是曹豹的族弟，還是徐州大族曹家的子弟。如今陶謙還是很倚重曹豹的，所以還是故意裝作滿意的點了點頭。曹宏見狀還很得意，以為陶謙同意了自己的觀點。
當然，曹宏有點蠢，不代表別人也蠢。
“五弟，休得胡言，還不退下！”
說話之人自然是曹豹，將鬱悶的曹宏喝退之後，曹豹站出來行了一禮，道：“大人，曹操入侵我徐州，乃是不臣之事，我等可向朝廷奏稟，若是朝廷肯出麵，自是最好，若是不肯出麵，對我們也沒有損失；其次，大人可召集各郡士兵，整頓軍馬，防備曹操；還有，公孫瓚任命其麾下田楷為青州刺史，大人與公孫瓚有聯盟之約，可向田楷求援。北海孔融素有賢名，大人也可向其求援。最後，大人可書信一封往曹操營中，言明雙方開戰的危害。大人非是懼戰，乃是心憂百姓，若是曹操執意要戰，我徐州將士也會奉陪到底。”
這曹豹果然不是個莽夫，每一點都說的有理有據，讓人高聲喝彩。特別是最後一句，說得陶謙心花怒放，自己不是害怕打戰，是害怕無辜的百姓受到牽連，如果曹操一定要打，徐州的將士願意奉陪到底，說的是如此鏗鏘有力，氣勢十足。
當然，至於真正到了那個時候，徐州的將士會如何反應，也不是陶謙能夠想到的了。
“曹將軍所言甚合我意，就依曹將軍所言。”
曹豹說的話沒有絲毫的瑕疵，至少在場的眾人都覺得可行。
“諸位，何人可以為使，將書信送往曹操營中？”
陶謙的問話沒有人回答，誰都知道這不是個好差事。如今徐州和曹操開戰，當使者去曹操營中，如果曹操不顧道義斬殺使者，哭都沒地方哭去。就算曹操不斬殺使者，至少也會羞辱一番。大家都不是傻子，吃力不討好的事誰也不會送上門去做。