第二天，財主家發現少了一筐饃饃，斷定是黃家兄弟幹的，便叫來拷問。大黃一看事情既已敗露，就攬在自己身上。三黃一看哥哥替自己承擔了罪過，心中很不是滋味，便如實講了，說大哥看見倉窯裏有饃饃，向我說了，是我偷來的，此事與大哥無關。財主聽後憤怒地說：大黃，你長一雙賊眼，我把你雙眼剜了，叫你永遠看不見東西，看你以後再起賊心不起；三黃，你長一雙賊手，我把你的一隻手剁了，留一隻於你，既可讓你記住做賊的教訓，也可讓世人從你少一隻手就知你是一個賊，受世人的羞辱。說完，便命人將大黃的雙眼剜了，三黃的右手剁了。二人遭此疼痛後在地上翻來滾去，號叫著，慘痛之情令人難以目睹，悲號之聲令人難以入耳。二人在疼痛之餘心想，如今成了廢人，既不能回家去見父母，也不能麵對世人，失去雙眼和手以後不能幹活，又將如何生活？便大罵狗財主說：你把我們整治成這個樣子，羞見父母，難以做人，日後又如何謀生？狗財主，你就結果了我們的性命，日後也省去許多煩惱。在一旁早已哭成淚人的二黃看了此景，聽了此言後失聲痛哭地說：大哥三弟，你們可千萬不能輕生，你們不能幹活還有我呢，有我養活你們，一定把你們養老送終。財主不聽則已，聽了後，怒從心中生，惡向膽邊來，惡狠狠地說：大黃、三黃，你們想死？沒那麼容易，我要讓你們留在世上，受世人的羞辱，欲死不能，欲活不得。二黃，你想養活他倆，那是不可能的，我要砍去你的一條腿，讓你也成了廢人，看你怎麼養活他們。便命人來，欲砍二黃之腿。此時，下人也實在看不過去了，但又不敢勸說，隻好向財主說，如今大黃失去眼睛看不見路，三黃沒有了右手，都成了廢人，再將二黃腿砍去，他們三人就出不了門了，要是死在這裏怎麼辦？不若將二黃的腿打折，讓他與三黃將大黃托著去了，也免招麻煩。財主聽了就應允了，命人將二黃的左腿打折了，並即刻將他們趕出院門。兄弟三人互相攙扶著，出了財主家門，羞於回家，拖著沉重的步伐向遠方走去。
一日，兄弟三人來到奢延（今橫山）縣城。來到城中後，有人看他們可憐，便給他們一些食物充饑，衣裳遮體，還將他們安置在破舊的草窯中棲身。兄弟三人覺得這裏的人不錯，便在此住下了，每日以乞討為生，苦度時日。
奢延縣是一個蒙漢雜居的地方，穿皮貨的人很多。為了糊口求生，二黃便跟著蒙人學起了釘靴和修補皮衣的活計。迫於生活壓力，二黃學得很認真，沒用多長時間就成了一個好鞋匠。因為他的活做得好，要價又低，所以找他釘鞋和修補皮衣的人也就越來越多，他的收入自然也多起來了，足可以養活自己和大哥三弟了。可是，這時的大黃卻感到有些不安，心想，自己是老大，本應對兩位弟弟加以照料，如今反倒要二弟養活自己，真有些於心不忍。他每日在草窯中或是外出乞討時都能聽到有人用琵琶伴奏著演唱小調，訴說著大漠風情，草原落日，雜曲情歌，長吟噓籲。大黃聽了後很受啟發，我何不用此方式將我兄弟三人的悲慘遭遇訴說給人們，或許能夠換來別人的同情，給一些小錢為生活添補所用。心中主意一定，就用二黃修鞋賺來的錢買了一把琵琶，學著彈唱起來。大黃生性聰明，悟性好，記性強，很快掌握了琵琶的演奏方法，並且自創了適合演唱兄弟苦情的大悲調，還編出了說唱段子，在街頭一唱就引起了人們的極大同情，人們便給些小錢以接濟他們。大黃的演唱水平越來越高了，人們也越來越愛聽他的演唱了，逐漸便有了固定的場地，固定的聽眾。
匈奴屢犯漢境，想與漢室分庭抗禮，漢武大帝劉徹為了邊境安寧，折服匈奴，便率兵親征，於朔方平息了匈奴之亂，在班師回京途中路過奢延縣，駐蹕安營，安撫百姓，訓政當地官員。一番訓詞後，大帝要出營安撫百姓，在縣官的陪同下來到一處，見前麵圍著一群人，不時喝彩，不時抽泣。武帝問縣官，前麵因何圍有許多人眾？縣官回稟，有一瞎子在此說唱身世，很是感人，故而人們圍聽。武帝聽後說，既然如此，我們也去聽聽，便來到人群中悄悄靜立而聽。此時，黃瞎子正說到自己被挖去雙眼，三弟被剁去右手，二弟又被打折了左腿的情節。武帝聽了大怒，高聲喝道：天下竟有如此狠毒之人，為富不仁，天理難容，不除此人，王法何在，朕又何以折服天下。當即命人將黃瞎子帶回府中，仔細盤問情由後，命人將財主一幹人犯捉來，聽候發落。財主一一招認後武帝下令，是日於市井中處斬。第二天，奢延縣市井中擠滿了蒙漢人眾，觀看處決人犯。行刑柱上綁著財主及其一家老小，由奢延縣令執刑，三聲炮響後，人犯的人頭落地，血濺黃沙，一命嗚呼了。此時，漢武大帝對眾口諭天下曰：
朕巡視邊陲，所見所聞，令朕欣慰。朔方地處邊陲，民風淳樸，儒厚慈愛，遵禮守法，扶助貧弱，我朝幸甚矣。民能各盡所能，自食其力，乃天下安泰之兆也。弘此所行，以揚四海之內皆兄弟之風，民意昌也。今處惡人以止惡，慰善人以揚善，謹遵此行。
又宣黃瞎子兄弟三人聽封：
汝等人善，被人所欺致殘。能於街頭說唱世間善惡美醜，有教化之義，實為功德之行。朕念你們麵強暴而不屈服，居貧賤而不喪誌，是有骨氣之人。日後貧窮，行乞討要時，可上至午朝門，下至草窯門，均可去行。
又對大黃說：
你以說唱教化世人，揚善笞惡，有宣化之功。日後說唱，上可啟化帝王，又可教誨百姓，須要慎行慎言。
黃瞎子兄弟三人叩首謝主隆恩。
也有傳說，漢武大帝在街頭聽了黃瞎子的演唱後，被他們兄弟三人的不幸遭遇所打動，命人將財主一家捉來於奢延縣市處決了，以此警示世人。又根據黃家兄弟三人的情況，比照世人，敕封天下：唯瞎子可以說唱書文，瘸子可以修鞋，憨憨可以乞討，其他人等不得摻行於他們。漢武大帝封諭天下後，對黃瞎子說，宣育教化需經史為據，為人曉禮明法，你日後可多講一些經史之事。黃瞎子說：小民沒有學說，怎能講得了經史。武帝說：不要緊，我命人將經史編成唱詞，教你說唱。黃瞎子又說，經史深奧晦澀，恐怕我說唱起來乏味乏義，眾人有所厭煩，又將如何？武帝聽了，沉思片刻後說：朕有玉璽行令天下，未有不遵者。今賜你三寸木頭一塊作為醒堂木，在你說唱之時若有人打瞌睡，或心不在焉時，你可猛擊此木，以醒世人。漢武大帝又召來奢延縣令，命其選出經史典籍中有教化平民、感悟世人之文改編為書文，供黃瞎子演唱。又賜給縣令一塊木頭，命名為驚堂木，讓縣令在升堂審案時拍擊公案，以驚懾犯人，讓他們以黃瞎子為榜樣，身殘誌堅，尚能自食其力。犯人身健而枉生邪念，犯法違禮，以木驚之，使其重新做人。也就是在這一傳說下，陝北民間有了一個約定俗成的慣例，即說書唯有瞎子可行，明眼人是不能從事這一行業的；釘鞋匠隻有瘸退人才可從事，腿腳好的人不能幹這一行；尋吃討叫的唯憨憨可為，正常人不能乞討。因為這時漢武大帝禦封給他們的，所以也就有了另一個慣例，即村中來了說書匠，人們是不能拒絕的，多少要說上幾場；憨憨上門討要，人們都給他們打發；鞋匠釘鞋不能與之爭高爭低，通常鞋匠的收費也是比較合理的。這些都是人們“遵旨”而行的。也是根據這一傳說，陝北民間有了“三塊木頭”治世、驚世、醒世的說法。人們為了有“三木”之說，竟然將皇帝所用玉璽也說成是木頭做的是，以合“三木”之說。
奢延縣令遵照漢武大帝的禦旨，從各類典籍中找出了教化民眾的經文，改編成了既有說文又有唱段的書文，通俗易懂，有情有義，經黃瞎子一說唱，果真收到了很好的效果。因奢延縣令所編文詞均依經史典籍所出，不同於以往的小調雜曲，所以，人們便把去黃瞎子那裏聽說唱稱之為“聽書”，即聽書裏的事，不是而今的某人某事。並將黃瞎子稱為“說書人”，同時也將這門說唱曲藝稱之為“說書”。又因陝北說書在其最初形成時隻是講述大黃、二黃和三黃兄弟三人的故事，人們又習慣將大黃的說唱稱為“說三黃”或“去聽三黃”，便有了與“三皇”混同的說法。一則，因“三黃”與“三皇”同音，另則，有傳說在漢初曾禁過“始於始皇”的說法，人們便改“始於始皇”為“始於三皇”，避了皇家之禁，後流傳於民間，才有了後世的“始於三皇”之說。之所以名“陝北說書”是為了與蒙語說書加以區別，二者都是“說書”曲藝，隻是民族與區域的不同。