顯然，小兒子的出生並沒有給張家帶來好運，多添了一口人，反而加重了負擔。張全海起早貪黑依然掙不夠全家四口人的口糧，兩個孩子整天直嚷餓。在那樣的時節，小時候的張小林就習慣了偷拿搶要，在村裏很不招人待見，沒少給家裏添麻煩。隻有張全海明白，孩子實在是餓急了才這樣做。
就這樣餓來餓去，在張小林出生後的第十個年頭，終於餓不下去了，鄰裏關係越處越緊張，再這樣下去指不定會鬧出什麼亂子。張全海隻得一咬牙，離開了祖祖輩輩居住的村子，舉家來到杭州拱宸橋，開了一爿箍桶店，名字叫“張記箍桶鋪”。畢竟空間大了些，生意要比老家好做得多，從此，張家的生活算是安定了下來。不久，張大林也在一家織造綢緞的機房當了學徒工。
張家的經濟稍稍有所好轉，張全海便把小兒子張小林送進私塾去念書，因為他認為這個小兒子出生時就與眾不同，將來必定會有出息，所以要好好培養。雖然妻子一開始反對，理由是張家的經濟雖然有所好轉，但畢竟不富，依然是個窮人家。在這個問題上，張全海顯得格外固執，做妻子的隻好聽從了丈夫的意見。
然而，成為私塾學生的張小林卻不爭氣，沒有心思好好學習，整天一副心不在焉的樣子，更不用說集中注意力聽課了。那時候，能進私塾的大部分是有錢人家子弟，而這些子弟普遍的惡習是不守規矩，不思進取，專愛小偷小摸，喜歡聚賭，一些成年人的不良習氣都在這些半大的孩子中蔓延、滋長。張小林整天想的便是和這樣一群混混攪在一起，如何花樣翻新，怎樣嘩眾取寵。簡直天賦異稟，時間不長，偷、摸、賭樣樣都學會了。他習慣於站在眾星捧月的高度，習慣於用拳頭解決所有難題，再加上天生就有的領袖氣質，和生就的五大三粗的體格，打架時一個頂倆，很快便成為這些不良少年中的頭頭。附近一些貧苦人家的孩子更是對他言聽計從，聽他指揮。
張小林沒有心思學習，總要找點事做。於是乎他就學著戲曲裏黑幫的規矩收保護費，同學們都怕他，每天交納5文到15文不等的孝敬錢。有了這些錢他便跟那些富家子弟賭博，並且用心鑽研，很快，各種賭法乃至作弊手法都熟絡於心。有時運氣好，贏了錢更覺得學習沒什麼用，變本加厲地想方設法一賭為快。這項營生是他畢生的追求，以至到他生命的最後時刻，一日不賭便覺得心下難熬。當然，有錢最大的好處便是餓了可以去茶館、酒館消費，如果能帶著他的一班所謂弟兄前呼後擁那就更加威風。如果這時又恰好看誰不順眼，他便發號施令一擁而上，而自己更是帶頭衝鋒。打同學是家常便飯，甚至老師也被他整得敢怒而不敢言。張小林還在背地裏警告老師不要告訴他父親，否則有他好果子吃，邊說還邊給老師一些孝敬。老師也就睜隻眼閉隻眼，隻要他不擾亂課堂，那就萬事大吉，來不來上課都隨他，至於課堂之外就更管不著了。閑極無聊之際，他甚至把某個女同學封為皇後，自封為皇帝，學學戲文裏開堂審案的事，無非就是為打人找個冠冕堂皇的理由。按照一般私塾規矩，這“皇帝”的寶座理應由私塾先生的兒子或孫子來坐。可那時誰敢惹張小林？沒等他發話，先生的孫子倒先拱手讓座了。
然而，好景不長，張全海夫婦最終發現了自己兒子的所作所為。起因是張全海一天晚上心血來潮想看看張小林的功課，翻看他的書包時卻發現一張春宮圖。這可如何得了，當時就把張全海氣得七竅生煙。馬上把熟睡中的張小林提起來一頓臭揍，栗子和耳光輪番上陣。直打得七葷八素，天昏地暗，末了還要張小林跪在地上交代。
張小林卻是倔強，眼看嘴角都流血了，怎麼打也是不哭。在一旁的母親卻心疼得不得了，卻也無可奈何，孩子確實該管教了！可是交代什麼呢？張全海不好明言，自然張小林也不知道交代什麼。母親在一旁好說歹說，張小林總算開口了。他以為父親去學校被老師告發了，便交代了自己的所做的一些事，無非就是向同學要錢買吃的，打了哪些同學，還怎樣整老師的一些情況都說了出來。他說得不以為然，得意處還用手比畫，全然忘記了被打的傷痛。張全海震驚了，沒想到兒子變成這樣，流氓習氣全學會了，不以為恥反以為榮，怎不叫他痛心疾首！當時也顧不上打了，一大口鮮血立時從口中噴湧而出，就此病倒不起。
此後很長一段時間，張小林規矩了許多，一則是被揍得心有餘悸，另外也算是心疼張全海。因為張全海的精神受到極大的打擊，倒床之後再也沒有緩過來，雖然也看了大夫，吃了一些偏方，卻是不見好轉。箍桶鋪是開不成了，私塾求學也算到此為止。為了買藥治病，張小林主動提出承擔照顧父親的責任，以使母親有些工夫靠替人漿洗打零工幫補家用。規矩了許多的張小林，為了安慰病中的父親，突然對寫字產生了濃厚的興趣。他就每天對著病床上的父親鋪開紙筆練字，日複一日，長進也是不小。當張小林成為上海灘大亨時，更以自己的一手好字而頗為自得。每到名勝古跡，免不了要炫耀一番，像杭州的靈隱寺就留下了“張寅”的題記。