閑暇無事的時候，張獸醫就給張作霖講些相馬經或者飼養知識什麼的。張作霖最愛聽的是一些諺語，隻要耳聽一遍，就永久不忘。他還給別的孩子講：“母馬屁股大，既好揣駒又好下”；“選馬要選虎頭頸，四方屁股大眼睛”；“牲口啖鹽，強其過年”；“嗆水肚子疼，喂急得結症”等等。尤其是“好馬不吃回頭草”“好馬不怕路不平”“好馬上路不停蹄”什麼的，讓他受用一生。
張作霖仗著聰明伶俐，再加上張獸醫細心傳授，張作霖很快就學會了一些相馬、醫馬的本事，《牛馬經》也背得通熟，什麼“一觀形，二切脈，三查口色，四便功，五起臥，六口腔，七滲八飲九汗出，十問舊病有與無”，都張口就來，學不太久就可以給牲口治個小病小災什麼的了。王氏看在眼裏，喜在心頭，對張獸醫也便更加體貼。
一些黑道土匪和附近騎兵，也經常來醫馬。張作霖學會了見什麼人說什麼話的本事，因而又結識了不少新朋友。張作霖開始向往大碗喝酒、大塊吃肉的綠林生活，也對出操、打仗的軍旅生涯感興趣。他盤算著自己的未來，要麼占山為王，要麼做都統、將軍……他的心越來越野，膽子越來越大，有時就明裏暗裏地從獸醫樁的錢匣子裏抓些零錢揣在兜裏。張獸醫雖然睜隻眼閉隻眼，但心裏還是不自在，就給錢匣子加了把鎖，把鑰匙掛在褲腰帶上。張作霖再也得不著零錢花了。
給繼父張獸醫當下手，雖然能學些本事，可是得不著錢花。張作霖需要的是現錢，隻要手裏有了錢就可以去賭局摸牌九，擲骰子了。於是，他便央告母親要去當貨郎。王氏心軟，跟張獸醫一說，張獸醫便給準備了一些本錢，給張作霖置辦了一副貨郎挑子和一些小百貨。
張作霖當上了走村串鎮的小貨郎，挑起貨郎擔，前後各有一個貨箱，手裏搖著貨郎鼓，賣些針、線、鞋麵、胭脂粉什麼的。他最愛去賣貨的地方是趙家廟，這倒不是因為那裏好賣貨，而是他看中了趙占元的二丫頭。趙占元的字叫恒昌，是個小財主。每逢趙家買他的東西，他都少算錢。趙二丫頭除了眼睛稍有點斜視以外，那細皮嫩肉，那眉毛鼻子那嘴兒，處處惹人喜歡，在十裏八村也算是個美女。巧的是她與張作霖同庚。每當上了新貨之後，張作霖去的第一站準是趙家廟。要是張作霖沒準時來趙家廟，趙二丫頭也抓心撓肝的，一會兒坐下一會兒起來，什麼活也幹不下去。時間長了，他們相處得很熟，偷偷地相愛著。可是張作霖因為窮，不敢托人提親。
趙家廟設有賭局，為了能在趙家廟多待些時辰，有時張作霖幹脆放下貨郎擔子，到賭局裏賭一把。有一天，在趙家廟他輸了錢耍起了光棍，拔腿就走。賭徒們一擁而上，抓住張作霖把他綁在村道旁的一棵大樹上，扒光了上衣。大家掄開皮鞭就揍，一邊打，一邊罵：“姓張的，讓你充光棍！是棍兒也給你撅折了！讓你再賴，打！”
張作霖被打得皮開肉綻，鮮血淋漓，可他眉頭也不皺一下，還是不住嘴地和賭徒們對罵：“王八羔子，你再給爺爺加點勁兒，張爺爺要是皺一下眉頭，就不是人養的！你們他媽的管我要錢，瞎子掉井——沒門。媽拉個巴子的，你們耍錢鬧鬼，張爺爺不吃這一套……”
圍觀的人越來越多，有的賣呆兒（東北土語，意為“看熱鬧”），有的勸解。站在人群外頭的趙占元，看張作霖毫不示弱的樣子，暗暗稱奇，覺得這小子真剛強，又長得北人南相，日後定有出息，就撥開人群，走進去問：“別打了！張貨郎輸了多少錢？多少？才一吊二啊！別為這麼點小錢把人給打死了。這麼著吧，你們放人，這錢我出。”張作霖被鬆了綁，他趴在地上給趙占元磕了個頭，也沒說聲謝，站起來瞪了眾賭徒一眼，挑起貨郎擔子，走了。趙占元回家以後和老伴商量，想把二丫頭許給他。可是，他老伴和二丫頭他舅都堅決反對，說：“老張家寡婦失業的，領幾個孩子過日子，窮得連鍋都要賣掉了。”親事雖然沒成，可這話也慢慢傳到張作霖的耳朵裏了。他決心幹出個樣子來，非把老趙家的二丫頭娶到手不可。為這個，他把貨郎挑子撇了，又尋找新的出路。
清末時，東北馬市大多是有市無場，經營場地就設在招待來往車馬的客店院內。賣牲口的要是在一家院內賣不出去，也可串到別的店去賣。車馬店又叫大車店，大門外挑個羅圈形的紅布幌，除供給老客、販子、經紀人交易和食宿外，也接待其他過往行人住宿及存車。為了招徠顧客，店主經常請一些唱蹦蹦戲（後發展成二人轉）、說大鼓書的民間藝人到店裏表演，由店主供其吃住，錢則由聽眾看賞。因為北方冬季嚴寒，野地無處藏身，有的店便成為土匪冬季的藏身之所。店內除掌櫃的，多數還有掌盤的、賬房、報稅的、雜役人等。
張作霖不做貨郎以後，曾到附近河圖堡村一個大車店裏當雜役，負責打掃庫院，出售食品，幫著套車卸馬，為過往行商服務。在這個大車店裏，張作霖接觸了南來北往的各色人物，從客人們的高談闊論中，知道了村子以外還有另外一個花花世界。張作霖從此有了出去闖蕩的念頭。
有一天，北風呼嘯，天上飄著棉絮般的雪花，到半夜時分地麵上已積起半尺厚的深雪。大車店裏的蹦蹦戲早停了，客人們也都入睡了，店主東家出去找女人過夜，賬房先生也回家了。後半夜，突然響起了敲門聲，張作霖從炕上一骨碌翻身爬起，穿上抿襠棉褲，蹬上棉鞋，披上棉襖，扣上狗皮帽子，打開房門就直奔大門。打開大門，走進一個魁梧的漢子，濃眉大眼，頭戴狗皮護耳帽，上身穿羊羔皮襖，下身穿著皮套褲，腳上穿著高腰棉皮靴，腰裏紮著一條綠緞子的搭包，手裏牽著一匹烏黑油亮的高頭大馬，煞是威風。張作霖不敢怠慢，麻溜地接過大黑馬，嘴裏喊著“請”，把客人讓進屋裏。他把大黑馬拴到槽上，給拌上草料，然後跑到屋裏給客人端上洗臉水、洗腳水，又端來一盤果子，沏上一壺茶，伺候客人食用。店裏已經客滿，而客人又要單間，這很讓張作霖作難，隻好請這位客人住自己的鋪位。而張作霖睡的是長筒子大炕，與一般散客同住，那客人看了一眼死活不幹，又說不怕花錢。
這時，店裏的一位大夥計也起來了，見這位客人這麼矯情，心裏頭老大不滿意，就說：“那就請客官到別的店去看看有沒有地方。”這明擺著是攆人。那客人一瞪眼，聲不高卻很橫，扔出一句話：“怎麼？你敢轟爺！”張作霖眼尖，早看見客人屁股後頭鼓著個包，心想備不住是匣子槍，一拉大夥計衣襟，笑著對客人說：“真不好意思，讓您受委屈了。現在隻有掌櫃的和賬房先生住的屋，因為是金錢重地，外人一概不準入內。小的看爺是個人物，就請您住進去，將就一宿，怎樣？”大夥計趕忙攔住，說：“你個老疙瘩膽真大，掌櫃的回來看見你給亂當家，還不讓你卷鋪蓋卷兒。”張作霖一拍胸脯，學著說大鼓的腔兒，說：“此處不留爺，自有留爺處。掌櫃的怪下來，他媽的與你無幹，我一個人頂著，大不了走人就是！”客人欽佩地看了看張作霖，大搖大擺地住進了賬房，也不脫衣服倒頭便睡。
事後得知這位客人是遼西頂頂有名的大匪首馮麟閣，又叫馮德麟，連官府都懼他三分。他這次是化裝成普通客人住進這家大車店。第二天掌櫃的回到店裏，對張作霖的安排相當滿意，又加倍地向馮麟閣獻殷勤。馮麟閣格外看中機靈、懂事的張作霖，管他叫老兄弟。此後，馮麟閣常到店裏來住，向張作霖吹噓他的土匪生活。馮麟閣的話無非是說幹他們這行，能吃香的喝辣的，勾得張作霖心馳神往。後來，馮麟閣還主動和張作霖磕頭拜了把子，成了換譜弟兄。作為禮物，馮麟閣還偷偷送給張作霖一杆土槍。這讓張作霖心裏樂開了花，盤算著用這杆土槍幹一件驚天動地的大事。
後來查明，殺死張作霖父親張有財的是王二，可是王二已畏罪潛逃進了東山密林。王二聽說王氏帶著兒女去了黑山縣，就偷著回了海城老家。仗著他家有錢，上下打點，官府並沒有來捕拿。為了給自己壯膽，他讓一家佃戶老夫妻住在自家門房裏，不要房錢，但要給他守好門戶，一旦有風吹草動，就搖鈴報信，王二好翻牆逃跑。
殺父之仇不共戴天，張作霖和他二哥張作孚時刻也沒忘殺父仇人王二，決心找機會殺死他。張作霖自從得了一杆土槍，沒人的時候就拿出來小心地擦拭一遍，然後再小心地藏起來。一天，有人從海城老家到小黑山這邊來，告訴張作霖母子：“恍惚聽說王二偷著回海城了，可是沒見著真人實影。不知道消息準不準？”
張作霖自打聽到了這個信，心裏就長了草，飯也吃不香，覺也睡不著，托人給大高坎杜家店當長工的二哥張作孚捎信，要他無論如何也要回家一趟。張作孚得著信，不知家裏出了什麼事，急如星火地往家裏趕。張作霖見二哥回來了，就避著母親把王二回來的消息告訴了他，還給張作孚看了自己的那杆土槍，接著談了自己的複仇計劃。張作孚是個點火就著的脾氣，表示要及早動手，說：“官府衙門不抓，咱們哥倆自己幹！你心眼多，二哥聽你的。”張作霖哥倆商量好計劃後，就悄悄準備幹糧和盤纏，又找來一床破被把土槍裹起來，當做行李卷扛在肩上。那時候，張作孚身體好，常練跑步；張作霖身體差，就借了鄰居郝大爺家的一頭驢。一切準備妥帖之後，小哥倆趁母親沒在家的工夫，偷著上路了。他們饑餐渴飲，披星戴月，邁開大步往海城方向趕。半道上張作霖買了幾個肉包子，但舍不得吃，小心地揣在懷裏。走了幾天，離王二家那個村子不足三裏地了，張作霖哥倆就鑽進高粱地，把驢拴在一棵小樹上，又用帶來的幹糧填飽肚子，然後倒在壟溝裏等著天黑。過了好長時間，太陽也不落山，心裏頭十分焦急。好不容易盼著大毛狼星（金星）從西天上升起，天黑了下來。哥倆誰也不說話，地裏靜極了，除了蛐蛐叫聲，就是他哥倆“怦怦”的心跳聲。等著天上星鬥出齊了，張作孚忽地坐起身，張作霖伸手拽他再倒下，然後默默地數著天上的星星。直到三星升到頭頂，張作霖才一拉二哥，兩人悄悄起身，打開行李卷，抽出那杆土槍，扔了破被，雙雙走出高粱地。他哥倆從小就熟悉這一帶的路徑，三拐兩拐，沒怎麼費勁就摸進村來。村裏的狗叫了起來，凡是有狗叫的地方，他就扔一個肉包子去，狗就不叫了。“肉包子打狗”這辦法，是他在大車店裏當雜役時候聽書學來的。來到王二家院牆外，四下看看沒人，張作霖蹲在牆腳下讓他二哥踩著他肩膀，再一直身，把張作孚送上牆頭。沒料到牆是石頭堆起來的，一碰，牆嘩啦啦塌了下來。
住在門房裏的老太婆聽見響聲，手拿銅鈴推開房門走到院裏，問：“誰呀？”猛然看見兩個黑影，趕緊搖鈴。張作霖一急也沒看清院子裏的人是誰，就扣動了扳機，槍響了，老太婆“噢”的一聲倒地死了。王二聽見鈴聲和槍聲，跳出後窗，打開後門，一溜煙跑了。
張作霖見打死了人，拉過他二哥就跑。攀著院牆裏的老槐樹，爬上牆，跳出院外，找著毛驢，跑了。張作孚不會爬樹，上不去牆。佃戶老漢和家裏別的人衝出來，一起動手擒住了張作孚，狠揍一頓之後，天亮後扭送海城官府。
在海城縣衙裏，張作孚跪在縣太爺的公案前，辯稱自己是為父報仇，並非搶劫；雖然殺死了人，但不是我幹的。最後張作孚還是被判為誤殺人命的助手，有罪入獄，判為十年徒刑。因為大清朝有可以替人坐牢的規定，張作霖的二伯父替張作孚坐的牢，最後死在獄裏。
張作霖沒報成仇，還賠上了二哥，心裏好不後悔。因為誤殺了人，他不敢回小黑山家裏，扔了土槍，便隻身去遼南闖蕩去了。
清朝末年，政治腐敗，盜匪猖獗，人民生活在兵荒馬亂之中，東北土匪日益橫行，1896年。21歲的張作霖離開家鄉，投奔當年結識的匪首馮麟閣。馮並未將他留下，而是將他推舉給另一匪幫董大虎子下當土匪。張作霖加入匪幫後，充當“攬把子”專門負責“看肉票”。他在董手下幹了幾年，結交了不少竄匪、賭徒、無賴、惡棍，幹了不少傷天害理的事。幾年的土匪生涯，使他漸漸“成熟”起來，比以前更加狡猾、奸詐、詭計多端。隨之，他的野心逐漸也在增大。
1900年，沙俄侵略我國東北，各地混亂，於是匪勢大熾。在黑心集一帶，又出現了一支擁有四、五百人的大匪幫。張作霖率領“弟兄”慕名來訪，並和匪首一見如故，於是他將自己心愛的手槍贈送該匪首作為見麵禮，二人遂成至友。不久，他從一個馬販子手中搶了10餘匹馬，率眾30餘人，另立門戶，而且聲勢漸大。