光緒十四年（1888），武七花錢4000餘吊，在堂邑縣柳林鎮東門外建起第一所義學，取名“崇賢義塾”。武七用了整整三十年的時間來實現他的理想，在這三十年裏，他受盡苦難，但始終堅定的一步步邁向他的目標。學校建成後他親自到當地有學問的進士、舉人家跪請他們任教，並到貧寒人家跪求他們送子上學。當年招生約50餘名，依循慣例分為蒙班和經班，學費全免，經費從武七置辦的學田中支出。每逢開學第一天時，武七都要先拜老師，次拜學生，這種儀式持續多年。每次置宴招待老師，他都請當地名紳相陪，而自己則站立門外，專候磕頭進菜，待宴罷吃些殘渣剩羹便匆匆而去。
平時，他常來義塾探視，對勤於教課的老師，他叩跪感謝；對一時懶惰的老師，他跪求警覺。有一次老師睡午覺睡過了頭，學生在學堂內打鬧，武七徑直來到老師的房前，跪下高聲唱道：“先生睡覺，學生胡鬧，我來跪求，一了百了”。老師十分慚愧，以後再也不敢疏懶。對貪玩、不認真學習的學生，他下跪泣勸：“讀書不用功，回家無臉見父兄”。就這樣，義塾老師對他十分敬憚，而學生也不敢有絲毫懈怠，大家都嚴守學規，努力上進，學有所成者甚眾。
光緒十六年（1890），武七與寺院合作，在館陶縣楊二莊興辦了第二所義學。光緒二十二年（1896），武七又靠行乞積蓄，並求得臨清官紳資助，用資3000吊在臨清縣禦史巷辦起第三所義學。武七一心一意興辦義學，為免妻室之累，他一生不娶妻、不置家。其兄長親友多次求取資助都被他拒絕，他唱道：“不顧親，不顧故，義學我修好幾處。”
山東巡撫張曜聞知武七義行，特下示召見，並下令免征義學田錢糧和徭役，另捐銀200兩，並賜名武七為武訓。同時奏請光緒帝頒以“樂善好施”的匾額。武訓的絕世奇行轟動朝野。清廷授以“義學正”名號，賞穿黃馬褂。從此武訓聲名大振。
光緒二十二年（1896）4月23日，武訓病逝於禦史巷義塾。根據《清史稿》的記載，“（武訓）病革，聞諸生誦讀聲，猶張目而笑”。就這樣，武訓在眾學童朗朗讀書聲中含笑離開了這個世界，享年五十九歲。
出殯當日，堂邑、館陶、臨清三縣官紳全體執紼送殯，遵照武訓遺囑歸葬於堂邑縣柳林鎮崇賢義塾的東側。各縣鄉民自動參加葬禮達萬人以上，沿途來觀者人山人海，一時師生哭聲震天，鄉民紛紛落淚。
陶行知先生的短詩《武訓頌》對武訓的一生做了概括，詩中這樣說：“朝朝暮暮，快快樂樂。一生到老，四處奔波。為了苦孩，甘為駱駝。與人有益，牛馬也做。公無靠背，朋友無多。未受教育，狀元蓋過。當眾跪求，頑石轉舵。不置家產，不娶老婆。為著一件大事來，興學，興學，興學。”
雖有人質疑武訓受賞黃馬褂一事的真偽，但武訓為朝廷隆重嘉獎、為時人稱頌卻是不爭的事實。清王朝當時已是大廈將傾、搖搖欲墜，仍令國史館為武訓的事跡立傳，這使得武訓和他的事跡倍受當世矚目。根據《清史稿》宣統本紀的記載，“己未，予積貲興學山東堂邑。義丐武訓事實宣付史館。”武訓的事跡後來被編入《清史稿》列傳二百八十六孝義一節中。
所有武訓生前事跡，除了國史館已奉令為之立傳外，梁啟超先生還專門為他撰寫了十分精彩的《興學節略》，以資表揚。梁文中說武訓的義塾“行之數十年，弟子卒業而去者，不可勝數”，而他始終“日以兩錢粗饅終其身”。
文中最後總結道，“銖積寸累，惟以興學為事。殆所謂奇節瑰行，得天獨厚者歟！”梁啟超乃當時維新變法的領袖人物，又是知識界泰鬥，在他的倡導下，武訓受到越來越多的人的矚目。張默生《異行傳》裏也專有義丐武訓一節，宣傳他的事跡。
1903年山東巡撫衙門為武訓修葺了陵墓、建造了武訓祠，並立碑為紀。到了民國時期，為紀念清末聞名中外的“平民教育家”、“義學正”武訓，時任山東教育廳長何思源先生撥款重建了武訓祠。
何思源還在武訓祠堂立了尊武訓漢白玉雕像，這座雕像比真人略大。據解放後當地曾見過武訓的老人們都說這座雕塑像酷似武訓本人，可惜在文革中被紅衛兵毀壞。1932年，當時的山東省主席韓複榘為紀念在臨清倡辦義學的武訓，建造了“武公紀念堂”，並在紀念堂兩側建造了兩個“武公紀念廳”。