武訓原本沒有正式名字，他和魯迅筆下的阿Q一樣，都是那種“窮得連名字都沒有”的貧民。因在家族同輩兄弟中排行第七，故名武七。武訓這個名字實際上是個賜名，在他老年時，朝廷為嘉獎他的興學義舉而給他取名為“訓”，以示朝廷對他創辦義學來訓導貧苦學生的支持和鼓勵。
武七自小家境貧苦，7歲喪父，隨母親乞討為生。每次隨母親路過學堂的時候，幼小的武七都要駐足良久，他總是被裏麵的朗朗讀書聲深深吸引。然而在當時，就武七的家庭條件而言，上學隻是一個遙不可及的夢而已。
14歲後，武七多次到大戶人家當傭工，經常受到欺侮。辛辛苦苦幹完三年，到了領工錢的時候，大戶人家偽造了一本假賬，欺武七不識字，謊稱所有工錢早已支付完畢。武七據理爭辯，卻被誣為“訛賴”，並遭到家丁的毒打。氣得他口吐白沫，大病一場，在破廟裏一連三天不食不語。思量之餘，武七方悟以往受盡欺辱，皆因吃了不識字的虧。他又想，周圍像他這樣的窮人還有很多，如果不念書，窮人永遠沒有出路，於是他萌發了興辦義學的念頭。
窮且益堅，不墮青雲之誌。一旦建立了自己的目標，武七便以貫穿其一生的苦行和執著來實現這個目標。自古以來，學堂除了官辦，就是民間殷實人家集資興辦。以赤貧之身而興義學之舉，曠古未聞，其難度可想而知。一個乞丐，不圖名，不為利，抱有這樣的大誌，固然值得佩服，然而，這個誌向對他來說是不是過於“遠大”？他將於什麼方式實現？
1859年，21歲的武七開始著手實施他的偉大計劃，到各地去行乞集資。他頭發髒亂，麵目汙黑，爛衣遮體，但卻很快樂，一邊走一邊唱著自己編的歌謠，四處乞討，“邊乞邊傭”。幾年下來，這個苦並快樂著的乞丐，足跡所至，遍及山東、河北、河南、江蘇等地。
每次討得較好的衣物和飯食，他就設法賣掉換錢。而自己則像一個苦行僧一樣，隻吃最粗劣的食物，邊吃還邊唱：“吃雜物，能當飯，省錢修個義學院。”他有時還像個江湖雜耍藝人一樣表演錐刺身、刀破頭、扛大鼎等節目，甚至吃毛蟲蛇蠍、吞石頭瓦礫，以取賞錢。他還將自己的辮子剪掉，隻在額角上留一小辮，裝扮成戲裏的小醜模樣，以獲得別人的施舍。
武七白天乞討，晚上紡線績麻，邊做活邊唱：“拾線頭，纏線蛋，一心修個義學院；纏線蛋，接線頭，修個義學不犯愁。”在農忙時還經常給富人打短工，並隨時編出各種歌謠唱給眾人聽。另外，他還為人做媒紅，當信史，以獲謝禮和傭錢。
經過多年的辛勞，武七終於積少成多，存了一筆數目可觀的錢。由於他居無定所，錢款無處存放，就打算找一富戶人家來存放。他打聽到本縣有一位舉人楊樹坊，為人正直，名聲很好。武七覺得這個人值得信賴，於是跑到楊府求見。由於他是乞丐，主人拒而不見，他便在大門口一跪就是兩天，最後終於感動了楊舉人。武七把乞討積錢、興義學之事原原本本敘述一遍，楊舉人大為感歎。楊舉人不但答應幫他存錢，並且表示要助他辦學。
隨著款項的增多，武七開始典買田地，備作學田。同時他以三分息給他人放貸，以獲得更多的資金。在他49歲時，武七已置田230畝，積資3800餘吊。這在當時已經算是有相當的財力了，可是他依然沒有放棄自己的乞丐身份去選擇享受，他繼續過著赤貧的生活。這時他覺得時機已經來臨，決定創建義學，於是他向楊舉人提出建義學之事，楊舉人說不孝有三，無後為大，武七應先娶妻生子，武七唱道：“不娶妻，不生子，修個義學才無私。”楊表示願意出麵幫忙，並向當地的紳耆募集不足資金。武七搬磚、買木料、親自做工，在楊樹坊等人的主持下，1888年，武七花錢4000餘吊，在堂邑縣柳林鎮東門外建起第一所義學，取名“崇賢義塾”。從21歲立誌，到武七51歲時親眼看見義學開學，過去整整三十年。在這三十年裏，他受盡苦難，但始終堅定地一步步邁向目標。學校建成後他親自到當地有學問的進士、舉人家跪請他們任教，並到貧寒人家跪求他們送子上學。當年招生約50餘名，依循慣例分為蒙班和經班，學費全免，經費從武七置辦的學田中支出。武七跪請楊樹坊為學董，主持義塾一切。
最重要的是，武七仍自律苦行。義塾創辦之初，他準備豐盛的筵席招待教師，請學董和熱心讚助的紳士們作陪，自己並不入席，而是站在客廳外麵，向來客磕頭致謝。他說：“我不敢同老師和諸位們坐在一起，我站在門外，覺得心安，覺得快樂。”他跟學生們一樣分得一斤饃饃，一碗大鍋菜，仍舍不得吃，跑到莊外的磚窖上換了幾塊新磚回來，自己仍吃些殘菜剩飯。義塾成立後，雖然已經實現了他的心願，但他依舊過著漂泊無定的流浪生活，到處去要飯，仍舊住破廟。學生們勸他別再要飯了，他說：“我辦義學的目的，不是為了個人的生活享受，完全為了使我們這群窮孩子們有機會念書！我過的生活自己並不覺苦，隻要你們努力學習，我比什麼都快樂。”