後來羊山跟著一夥跑江湖打把式賣藝的四處流浪，這夥人的領頭的據說是參加過義和團的老拳腳把式，一般五、六個毛賊根本不在話下。領頭的收下羊山做了徒弟，教給他一些棍棒拳腳，說是讓他日後防身，千萬不能做了打家劫舍的歹人，無辜傷害他人性命。羊山是個地道的苦出身，和所有的窮人一樣，做夢都想著吃香的喝辣的，再多討幾個老婆。有這個想法當然再正常不過了，可要是為了這個目的而不擇手段，那就會誤入歧途了。羊山之後所走的路，還真的被這位義和拳的老兄弟給說中了。
十八歲那年的羊山，投到濟南府一個鏢局的門下，拜鏢頭落地虎為師，做了個押鏢的鏢師。二十歲時因為私吞了貨主的一包煙土，得罪了雇主，也敗壞了鏢局的名聲，差點沒被師傅落地虎剁掉雙手，落地虎念在師徒一場，讓羊山自己動手切下左手一節手指後，給了二十塊現大洋，囑咐他不許再蹋入鏢局的大門，就打發羊山另謀高就。
經過了一番錘煉的羊山，已經算是一個膽大妄為、為了達到目的敢於鋌而走險的年輕人。在濟南的街上轉悠了幾天，聽人說袁宮保在天津小站練兵，練的都是新式的洋槍火炮，而且還在四處招兵買馬。帶著一股腦升官發財夢的羊山跑到天津，開始因為左手小指缺了半截，招兵的統領根本沒有正眼看羊山，隻是向羊山揮了揮手，讓他走人。年輕氣盛再加上已經無路可走的羊山，隻有豁出去了，於是便放了膽子，要和清軍的一個侍衛過過招，要是輸了，他立馬走人，要是贏了，就得把他收了。
此時那位嚴酷的招兵統領這才微微抬起了眉眼，重新的仔仔細細、上上下下的打量起這個毛頭小子。衣裳破舊、身材一般，腦瓜後的發辮細到用手都快抓不住了。雙目有神、但是略帶凶光。隨手叫過一名衛兵，囑咐不要用兵器——摔跤。年輕力壯、又會些拳腳功夫的羊山，輕而易舉的把衛兵撂倒了三次。招兵的統領不動聲色的看著，站起身準備離開時，嘴裏冷冷的蹦出兩個字“收下！”
羊山於是扛上了洋槍吃上了軍糧。他是抱著過好日子的心態當兵的，真的要打起仗來，當然不願意拚命的往上衝，剛開始當官的以為是新兵沒打過仗，不敢往前衝。可是後來羊山貪生怕死的舉動，屢屢被帶兵的長官發現，紙是包不住火的。羊山想到再待在兵營裏，白白送死是遲早的事。趁著現在帶兵的長官還沒存心難為自己，趕緊腳底板抹油了！
羊山前後在大清的新軍裏待了不到三年，換了行頭，唯獨辮子沒剪，但是長度去了一半，隻留到了後頸脖處的三寸來長，這樣行動起來自己也覺得方便。羊山始終認為槍是個好東西，在打槍上他沒少花功夫，學成了一手好槍法，不說百步穿楊，那也是指哪打哪。
也就是練兵扛槍的這三年，可以說是他日後成為伏牛山一方頑匪的重要前提，沒有在新軍裏的三年曆練，他知道自己這輩子也許永遠就是個混混。人在江湖，首先要有槍，夠狠，別人才不敢欺負你，其次是要有權、有錢，有勢力別人也會敬畏三分。羊山先是拿著偷來的一長一短兩支槍，當做投名狀就近在魯南的一個小山頭上入了夥，憑一手好槍法，做了個二當家的，從此以後便開始了自己職業土匪的生涯。原本想在這世外桃源一樣的山上，搶個漂亮女人過日子，倒也逍遙自在。可是好景不長，官軍在羊山入夥的第二年就來剿匪，一群烏合之眾遇到另一夥武器裝備明顯占優勢的烏合之眾，百十來號人除了羊山和當家的跑了出來，其餘人都做了鳥獸散。大當家的是當地人，想再找一個更大的山頭入夥，羊山對此不置可否。