後來，張作霖家又先後搬到葉家鋪、欒家堡子和駕掌寺村。在駕掌寺村住的時間比較長。駕掌寺村比北小窪村大一倍，不僅房舍多、街道多，村裏的人口也多。張有財出去賭錢，張作霖有時候也跟著，什麼玩紙牌、推牌九、押寶盒，都見過，也都摸過。有時他會自言自語地喊：“前杠對大天，後杠皇上，我通吃！”
不跟他爹去賭博的時候，他就領同村小孩子去玩擲骰子遊戲。誰先擲、誰後擲，誰的點大，誰的點小，都聽張作霖的吆喝。不管他家搬到哪兒，他都是邪大王”。後來，他成了雄霸一方的大軍閥，可以肯定地說，這與他邪大王”的性格是一脈相承的。
父親猝遭橫禍死後，張作霖的大哥作泰又得癆病（肺結核病）死去了。母親王氏靠做針線活，養活二子一女，苦度艱難的歲月。年幼的張作霖想找小朋友玩，可大多都已上學，隻剩他一個人，孤苦伶仃怪可憐的。
一天，他漫無目的地走著，不知不覺走到一家私塾館前麵，這是鞠家鋪楊景鎮開的私塾館。楊景鎮是晚清舉人。私塾屋裏傳來了朗朗的讀書聲，什麼“趙錢孫李，周吳鄭王”啊，“人之初，性本善”啊，“大學之道，在明明德”啊，還有“關關雎鳩，在河之洲”。這些雜七雜八的聲音，好像組成了一出大合唱。這聲音緊緊地揪住了張作霖的心，他知道這是讀書。自己多想讀書，可是不行啊，爹死了，沒人供埃他沮喪地低下了頭，想趕忙走開，但又舍不得拔開腿。後來，他索性用舌頭舔破窗戶紙，用一隻眼往屋裏瞧。隻見自己的好朋友石鎖、鐵柱和禿子都在，他多羨慕他們埃屋裏念一句，他就跟著學一句，就這麼著，他偷學了不少天。
有一天，楊秀才讓禿子背書，背的是《三字經》。當背到“融四歲”這地方時，禿子怎麼也想不起下麵的了。也不知是急的還是嚇的，出了一腦門子汗，老師開始打他的手心了。張作霖替禿子急，就念出了“融四歲，能讓梨；黃九齡，能溫席。”楊秀才一愣，扔下板子到外麵一看，原來是個長得虎頭虎腦、穿得破破爛爛的小孩。問他姓什麼叫什麼，看他伶俐，又問：“你願意跟我念書嗎？”
張作霖不說願意，也不說不願意，就說了兩個字：“沒錢。”
接著禿子、鐵柱他們替張作霖補充，說他爹他哥怎麼死了，家裏怎麼苦。楊秀才聽罷說：“我不要你錢，你白念好了。”
有一天，楊秀才教張作霖認“禍福由之”這個詞，恰好同村的薑爺爺也去了私塾館。楊先生先教張作霖念了“禍”字，在教第二個字的時候，張作霖不認識，薑爺爺在旁邊插了一句：“‘禍’的反麵。”張作霖接著就念“福”。薑爺爺和楊先生都一驚，認為這孩子腦子反應快。
就這樣，在楊景鎮先生的關懷下，張作霖讀了3個月的書，這成為他一生文化的基矗後來，他能用毛筆寫大字題詞，全靠這3個月的啟蒙教育。他最愛寫的字是“天理良心”，連奉票的版麵上都有他題寫的這四個字。
張作霖天資聰穎，書念得也不錯，但時間一長，他的劣根性就暴露出來了。他生性頑皮，不願受拘束，才兩個月就坐不住冷板凳了，還時不時地和小同學打上一架。楊秀才因為他不守規矩，用板子做的戒尺將張作霖教訓了一頓。張作霖吃軟不吃硬，一把搶過戒尺，兩手往腿上一磕，竟撅成了兩截，扔給楊先生，嘴裏還罵罵咧咧地說：“幹啥都吃飯，我不念了。”
楊先生還想找家什打張作霖，突然發現門後藏著一杆小紮槍，便問：“這紮槍是誰的？”張作霖說：“是我的。”楊秀才問：“你拿這個幹什麼？”張作霖說：“我昨天看見你拿板子打同學的屁股，假如你今天打我，我就拿它給你兩下子。”楊先生一聽，就去找張作霖的母親王氏，說：“你這個孩子我可不敢教了，他要真的給我一下子，我就完蛋了。”
張作霖輟學回到家中，被母親王氏一頓責備，張作霖更加氣憤不平。第二天一大早他就趕到私塾門前守著，看見小夥伴們上學來了，就往回打，不讓人家進私塾門。楊景鎮來了也拿他沒辦法，隻好讓學生把王氏找來，將張作霖拉走，才算平息了這場風波。
書雖然不念了，但張作霖對楊先生的恩卻終身難忘。後來，張作霖當了陸軍第27師師長，為感謝楊先生，特地請楊景鎮到沈陽來，在他家裏設立私塾館，給張學良、張學銘、張學成、張冠英等子女和侄兒講課。楊景鎮就這樣做了張學良的啟蒙老師。
張作霖在他父親的影響下，也經常出入賭場，早已成了個小賭徒。
父親死後，王氏生計窘迫，告借無門，為解決吃飯問題，不得不賣掉三間土房當做路費，攜帶兄妹三人，投奔鎮安縣（今黑山縣）小黑山附近二道溝的外祖父那裏，苦度艱難的歲月。王氏借了鄰居老王家的債，一直還不上，整天長籲短歎，愁眉不展。張作霖什麼都不怕，就怕他娘落淚。一次，他看娘又哭了，就哄她娘說：“娘，別愁！我他媽把錢給還上不就結了。”
“孩子，你才十四五歲，靠什麼還饑荒啊？”王氏擦了擦眼淚說。
“真的不能還債嗎？”張作霖眉頭擰成個大疙瘩，心事重重地從家裏走出來。他走到債主老王家門口，往院裏看了一眼，隻見房門緊閉著，院裏沒人。在大門外，老王家的大肥豬在牆根底下曬著太陽。他三轉兩轉，又習慣地踱到賭常往常，他一見“天地人鵝長短牌”，手就發癢；可是今天，那牌上的紅白點，再也引不起他一丁點興趣。他不願再看熱鬧，就走了出來，不知不覺地竟走到村外的臭水泡子旁邊了。
那臭水泡子足有2裏方圓。張作霖坐在水泡子邊，順手撿起個石子往水裏扔去。聽著石子落水發出“咚”的聲音的時候，他緊擰的眉頭舒展開了，一下就從地上蹦起來，一邊拍打著屁股上的土，一邊往村裏跑，一直跑到老王家大門口。門外的大肥豬還在，院子裏還沒人，就連大道上也沒人。他從老王家的苞米樓子上偷了兩穗苞米，在肥豬前麵搓著苞米粒，撒在地上。就這樣，那頭肥豬被張作霖引到了村外的臭水泡子邊上。張作霖四下看看，周圍還是沒人，就把肥豬攆下水裏；這還不算，又用石頭死命地打。不一會兒，豬就到了水泡子當間兒，四蹄亂蹬，拚命地狂叫著，掙紮著。這時，張作霖衝著村裏大吵大嚷起來：“豬落水了，豬落水了！”
村裏人聞聲都跑來了，不用說，債主老王也來了。那老王一看自家的豬落進水裏，在水泡子邊上急得直跺腳，嘴裏不住地說：“完了，完了！”
此刻，張作霖把小褂一脫跳進水裏，不一會兒就遊到肥豬旁邊，用手奮力地揪著豬耳朵往岸邊拽，終於把豬救上岸來。鄰居們看到這場麵都很感動，紛紛誇獎張老疙瘩。老王一看自家的豬得救了，高興地拍著張作霖的腦袋說：“好孩子，張老疙瘩，真是好孩子啊！走，我去告訴你娘，你們家欠我的錢，不要了。”
就這樣，小賭徒張作霖把債給“還”上了。
張作霖在十四五歲那年，當過賣包子的小販。這買賣是他娘托了人，在郭家小包子鋪賒的包子做起來的。賒回包子，他娘給裝在籃子裏，又在上麵給蓋了好幾條新毛巾，臨行千叮嚀萬囑咐：“可別賣丟了錢，家裏還指著這貼補日子呢。”
做小販，張作霖一丁點也不在行，賣了半天，也沒賣出去幾個。走著走著，肚子裏咕咕直叫。他從籃子裏摸出個包子，在鼻子上聞了聞，好饞人哪！但一想起他娘的話，又放回籃子裏。可是架不住餓得前腔貼後背，索性抓出個包子，心想就吃一個，於是三口兩口就吞了下去。吃了一個，心想：“一個也是吃，兩個也是吃，幹脆吃它個飽再說。”他便狼吞虎咽地吃了一通，籃子裏的包子就剩得不多了。等回到家裏，一看到他娘偷偷地抹眼淚，心裏很不是滋味，決心不再吃了。但是到了第二天，又是吃多賣少。
一天，下小雨，貨沒賣出去多少，籃子裏還剩下一多半包子。為避雨，他躲進一家的大門洞裏。大門洞裏有幾個老太太正在看馬掌牌（一種紙牌）。這幾個老太太，他原本都是認識的。張作霖看得手心發癢，也要摸兩把。幾個老太太都不帶他玩，怕他輸了不給錢。張作霖笑嘻嘻地說：“別看我沒錢，可有包子，你們老幾位怕什麼？”沒辦法，勉強讓他參加了。張作霖的牌背得厲害，明明和條子，可他摸的、別人打的不是餅子就是萬字，幾個人當中就他一個人輸。他輸急眼了，一手抓起老太太的錢，揣在懷裏，一手提起籃子撒腿就頂著雨跑了出去。幾個老太太擰著小腳去追，那哪追得上。跑出老遠的張作霖回過頭來，做著鬼臉說：“下回別再跟我玩了。”幾個氣壞了的老太太，跺著腳罵了他一頓，隻好自認倒黴，不再攆了。
這一來，他名聲就臭了，包子更賣不出去了。等郭家小包子鋪一倒閉，張作霖賣包子的生涯也就結束了。
老王家的債雖然還上了，但張作霖一家還是常常無米下鍋。他母親靠一雙手為人做針線活，養活二子一女度日，生活極其艱難。二哥張作孚隻好去給地主“扛活”，掙點糧米添補家用。張作霖在家裏無事可做，想要給人家放豬、放牛，無奈人家嫌他頑皮不肯雇用，於是他開始尋找生活出路。母親王氏怕他再走他父親的老路，一心讓他學個營生。
張作霖先學木工。15歲這年，經人說情，他去高家木匠鋪當徒弟。王氏又借點錢買了四色禮，就是兩匣果子（糕點）、兩瓶二鍋頭酒、一籃綏中白梨、一筐大紅棗，讓張作霖恭恭敬敬地給高木匠行了跪拜大禮。然後又寫下字據，立了規矩，規定不付工錢，打罵任由師傅，如不服管教立刻驅逐回家等等。於是張作霖成了高木匠徒弟。那時候在農村，木匠、棚匠、鐵匠、瓦匠，是鄉裏稱道的四大高手。在落後的自然經濟條件下，有了這幾樣本事，就可以吃得開，吃得飽了。
小張作霖天天起五更爬半夜地幹。起床的第一件事，是給師傅、師娘倒尿盆，刷洗幹淨後放在僻靜地方，晚上睡覺前再端到師傅屋裏擺好。倒完尿盆，要蹲在灶坑前，用刨花、碎木頭燒好一鍋熱水，供師傅一家和雇來的木匠們洗臉、刷牙用。然後去井上挑水，打掃院子。如果讓師傅看見缸裏的水沒滿，院子裏有一根草棍，就要挨師傅一頓臭罵。開飯的時候，徒弟不能上桌，隻能一手拿個窩頭，一手端碗稀粥，手指縫裏夾根鹹菜，蹲在牆角旮旯大口大口地吃。不大口快吃不行，因為不定什麼時候師娘會大聲吆喊：“張老疙瘩，快來！”小張作霖得趕緊放下窩頭、粥碗，去給師娘的吃奶孩子收拾屎尿。
飯後，大工匠們都幹起了正經活來，有的鋸，有的锛，有的刨，有的用墨盒畫線。木匠們的耳朵上都夾一根半截鉛筆。小張作霖先是扛木頭，抬木板，累得滿頭大汗，氣喘籲籲。過了好多天，師傅才教小張作霖用鋼銼銼鋸齒。一不小心，銼掉個鋸齒尖，氣得師傅掄起巴掌給了張作霖兩撇子，打得他眼睛直冒金花。師傅嘴裏還罵著：“媽拉個×，沒用的東西！”張作霖哪受得了這個氣，也回了一句：“我操你奶奶！”師傅氣得鼓鼓的，幹瞪眼說不出話來，過了好半天，才說：“滾！”
張作霖被高家木匠鋪辭退了，他想學木匠手藝的願望破滅了。
王氏一個中年寡婦拉扯三個孩子，實在不易，沒辦法就改嫁給獸醫張某。張獸醫為人厚道，對王氏和她帶來的三個孩子照顧得十分周到。有一天，王氏見孩子不在身邊，就唉聲歎氣起來，張獸醫關心地問哪兒不舒服。王氏說出了心病：“老疙瘩一天比一天大了，可學什麼也學不成，幹什麼也幹不好。”張獸醫說：“讓老疙瘩跟我學獸醫吧！學成了也能混個吃喝。”
張作霖對獸醫這行倒頗有興趣，尤其喜歡馬，頂討厭的是劁豬、劁羊。劁是割掉牲畜的生殖器。有一回，好不容易把一口老公豬的四個蹄子綁好，張獸醫拿起劁豬刀要動刀，讓張作霖按住豬後身。張獸醫的刀剛下去，老公豬就竄出一泡稀屎來，濺了張作霖一身，他猛一躲，閃在一邊。老公豬失去了壓力，身子一撅打，張售醫的刀就走偏了，疼得老公豬嗷嗷直叫。事後，張獸醫也沒有埋怨張作霖一句。
如果來了醫馬的，張作霖就不住腳地忙前忙後，熬藥、灌藥是他的活。如果病馬需要留住幾天，張作霖還要負責喂馬、遛馬。每次出去遛馬，到了沒人的地方，他也不管馬病好沒好，都要跳上馬背，猛抽一鞭，在野外盡情地兜風。好不得意，好不快活，好不威風！有的時候，馬會使性子，一尥蹶子把他重重地摔在地上。張作霖也不顧屁股疼，腦袋起包，從地上爬起來，就撒腿快跑去追馬，嘴裏不住聲地喊著：“籲——籲！”