陳天龍在他的“天龍教”頗得劉章青睞之後，便想大修天龍教教祠，以供奉龍神。他如此做有兩個意圖，一是擴大天龍教的影響，以抬高他自己的聲望和權威；二是借機發展教民，以勒索錢財。陳天龍請求劉章批準並支持他的行動，劉章完全同意，並捐資幾千兩白銀，用以修建天龍教教祠。曹操來到濟南上任時，天龍教教祠早已修成，規模雖不算宏大，但香火卻是十分旺上錢敬香者，從未斷絕。
曹操因調查故進了天龍教教祠，他發現進祠上貢的百姓，多帶勉強之意。於是，便出了教祠，去路上攔住去祠進香上貢的百姓，打聽天龍教教祠的規矩章法。
百姓開始不說，後來曹操暴露了他新任濟南相的身份，並說他此來的目的，正是為了整治濟南種種惡俗劣行。一婦女這才忍不住痛哭失聲，向曹操曆數了“天龍教”強迫百姓入教的暴行。凡不入教者，即有被騷擾打殺的可能；凡入教者，除一次性交入教費銀五十兩外，還要每月進祠上香敬貢一次，貢銀不得低於五兩。所有百姓都為此叫苦，許多人被搞得家破人亡。也有實在交納不起的，深夜舉家遠逃。但要是被“天龍教”的人抓住，就要以褻瀆龍神的名義，在祠門前處死。
曹操聽了震驚不已，當即安撫幾位百姓，說他定於近日整治此事。曹操當天就拜訪劉章。劉章對曹操的名字早有知曉，當年曹操在洛陽北城門處死蹇碩叔父蹇昌，消息就很快傳到劉章耳朵裏。所以聽說曹操任濟南相時，他心中就有些打鼓。這時，聽仆人來報，曹操來訪，正在後廳靜心養息不願見人的劉章不由得一驚，連忙出迎。
劉章從未見過曹操，心想不知是何等高大威嚴的一個人物。及至見了，才大為吃驚，居然是一個矮小膚黑的人。但是，雖矮卻很壯實，膚黑卻兩眼有神氣。特別是說起話來，聲音朗朗，有一股不易覺察的逼人氣勢，使聽者不知不覺中為之折服。因此，劉章又有些畏怯了，特別是聯想到他為騎都尉率幾千騎兵馳騁衝殺的壯舉，更是膽戰心驚。
曹操自然是以尊敬的口吻向劉章問好，劉章當然也對曹操表示了熱烈的歡迎之意。二人一陣寒暄，互相交談了洛陽和濟南的一些情況。最後，曹操拱手道：“此次曹操初任濟南相，還望皇親大力支持。曹操雖才力不濟，但為漢室天下，努力盡心盡職是辦得到的。今既來之，則必安之，則必盡責為之，皇親定當以漢室社稷為重，不吝指教才是。”
劉章道：“那是當然，那是當然。曹相乃能人也，今朝廷既委以此任，想必已是看中了曹公的才幹。此真濟南人之幸也！”
曹操哈哈笑了：“皇親真是誇獎了。不過我決不會有負朝廷之命，定當秉公辦事，努力治好濟南。日後如有不妥之處，還望皇親以國家為重，多加包涵。”
劉章不由得心中一顫，曹操話中那一股逼人之氣，猶如強風一道，直穿人心。於是他除了附和，不知再說什麼的好，直到曹操起身告辭，他還沒有回過神來。一天後，濟南城內就貼出了一道禁令，禁令說：我漢室以孔學為尊，儒術為效，其餘一切妖言邪說，盡皆禁止。凡有任何教派組織，從禁令發布之日起，即停止活動，三日之內全部解散。違令者一律處以重刑。
禁令一出，濟南百姓，盡皆拍手稱快。各種教派多是民間組織，以自願為主，並不強迫，因此逐一解散也並不難。唯獨天龍教，已成大氣候，並且組織嚴密，具有強權，若它能解散，百姓怎不高興？但私下裏又很擔心，天龍教主與劉章關係親密非同一般，曹操有這個能耐把“天龍教”解散嗎？
第一天雖然燒香火的人不是很多，但是到了第二天人就開始多了，到第三天，天龍教祠上香進貢的人大增，百姓紛紛趕來，表示自己的“忠心”，生怕陳天龍怪罪下來，一家人便不得安寧。正當天龍教教祠香煙如霧，人聲鼎沸之時，一大隊全副武裝的士兵來了，曹操騎在一匹高頭大馬上，腰間佩劍，左手執鞭。當時百姓有些驚慌。
曹操策馬來到教祠門前，喝道：“百姓人等，不必驚惶。今天龍教教祠不遵禁令，特來查封。除教主及教祠頭目，餘等一概無事，依次離開教祠便罷。”曹操話一說完，上香者就紛紛湧向門外。曹操叫軍士將百姓列隊，一一出門，凡是頭目，一概拘留。原來曹操早選了幾個識得天龍教大小頭目的人摻在軍士中。包括陳天龍在內的天龍教大小頭目十餘人，一個也沒有漏掉。全部用繩索捆了，結成一串。然後，收繳教祠內的所有銀兩，再將教祠大門以封條封了。
剛剛關押了陳天龍等人，曹操即刻又草擬第二道禁令，禁令說：自前禁令發布，所有教派，自行停止，然有極少頑固之徒，仍是置若罔聞。今已第三日最後期限，凡有迄未從令者，一概拘禁，將分別情形，處以重罰。罰處之事，屬官府內務，任何人不得幹預，凡徇私說情者，打五十軍棍。
劉章得知陳天龍等人被捉的消息，正要親赴曹相處請予寬大處理。不料行至半道，即有新禁令出，連忙派人去看，才知內容，不由得倒抽一口冷氣，隻得打道回府。
曹操親自審問陳天龍等人，最後當場判決：處陳天龍等五人斬首。處其餘八人關監。陳天龍撲通一聲跪在地上，磕頭求饒不止。他萬萬沒有想到曹操居然如此武斷鐵麵，連皇親也奈何他不得。第二日，將陳天龍等五人押至天龍教教祠門外空地上，宣讀罪行，執行砍頭。濟南百姓傾城出動，趕來圍觀，刑場上人山人海，但卻寂靜無聲。宣判之後，執行斬首時，才爆發出歡呼。為了徹底搗毀天龍教，曹操又令群眾退去，將天龍教教祠一把火當場燒毀。一邊衝天大火，正在燃燒；一邊即按從祠內得到的納銀上貢名冊，將從教祠沒收的銀兩，按各冊上記數，一一退還原主。凡逃離濟南的人，其銀兩暫由相府保管。
收到銀兩的百姓真是感激涕零，稱曹操為救星。
濟南城發生的這一翻天覆地的變化，使曹操鐵麵無私的名聲傳播很遠。原先，因受天龍教的迫害而背井離鄉遠走他鄉的人，又陸續回到濟南來了。而且，其他地方的一些百姓，也紛紛往濟南遷徙。一時間，濟南成了天下太平之所，人民安居樂業，商店生意興隆。
但是，曹操在濟南肅清貪汙、罷黜無能的郡縣官吏的舉措，自然又得罪了不少宦官及外戚豢養的特權階層。特別是天龍教一案，使劉章對曹操恨得要死，便利用他皇親的身份，去京城散布曹操的流言。於是，朝中上下的既得利益者，就都對曹操極端忿恨起來。
朝中上下這多麼人恨曹操，曹操的好日子自然不會長了。
公元一八五年，即中平二年，朝廷下令，將曹操調為東郡太守。與濟南相相比，東郡太守還更高一級，名義上曹操是升了官，而實際上，是把他從濟南弄開。更有甚者，弄他到東郡任太守，顯然是放在宦官能直接控製的地方，以便找機會加害於他。