有關張氏家族的來曆，《中華民國陸海軍大元帥張公行狀》上說，張家“遠祖居山東”。而晚年的張學良則說：他們張家本姓李，祖籍是“河北省大城縣”，本家一位女子嫁給張家後，因無子嗣，便將李家一個男孩子過繼給了張家，這位男孩兒，就是張作霖家族的先人。張學良還說，他曾問過父親：現在李家已經沒有後人了，他再過繼回去如何？“我父親聽後，還連連說好！”
張作霖連連說好，是因為他已經知道自己本該叫“李作霖”或“李”什麼，因為還在他擔任奉天督軍時，就曾有一個來自河北省大名縣（並非大城）的老農前來認親。督軍府的衛兵聽這個自稱姓李的老頭兒來認本家張督軍，以為他是說胡話，差點兒動手打了他。但見老農理直氣壯硬要往裏衝，才不敢貿然行事，將此不速之客的“怪誕”言行層層上報上去。令護兵們大感意外的是，老頭兒竟被請進府裏！據說，張大帥親自接見了此人，但見老農從包裏掏出一冊極舊的家譜，指指點點，找出張作霖祖先的名諱，並準確地說出張的祖父的大名！督軍大人禮遇了這位找上門來認親的老叔，並讓副官將其好生招待了一番。數年前，魏福祥等人編著的《張作霖沉浮錄》中有此記載。
張作霖的傳記在海峽兩岸出了不少，相同的說法是：張作霖之父張有財是個不務正業、嗜賭成性的家夥。某次，他把莊上一個姓王的人贏得光光的，逼人家拿老婆抵債，被那人一怒之下打死了。而被打死的版本又有兩個，一是說被那廝引入村外林中用鐵鎬敲碎後腦勺當場斃命的，一是說兩人互毆時被那人踹中要害抬回家後不治身亡。總之，按“老子英雄兒好漢，老子反動兒混蛋”的“文革血統論”來看，張作霖日後成為殺人越貨的土匪，成為“投靠日本帝國主義的反動軍閥”，是自有其“反動基因”的。
然而，對於張有財的死，長孫張學良卻不這麼說。暮色蒼蒼的“少帥”告訴他的傳記作者唐德剛說：祖父被害的原因並非因要把別人的老婆賭回家。那天，他根本沒參賭，而是在觀賭時看出王姓賭徒是靠耍手腕贏光了別人的錢，便忍不住指責了王。回家途中，兩人由唇槍舌劍演化為拳腳相加，結果，他被年輕力壯的王某打傷，回家後不治身亡。那一年，張作霖才十三四歲。
不知是外人們以訛傳訛，還是張學良誓死為長者諱，反正我們讀到的“曆史”往往與真相並不是一回事。
幼年的張作霖，人稱“張老疙瘩”。東北方言裏，“老”即“小”——“老姨”說的是“小姨”，“老閨女”說的是“小閨女”，而“老疙瘩”當然就是“小兒子”了，“疙瘩”即“寶貝疙瘩”之簡稱兼昵稱。傳統的說法是，因父猝死，家又被洪水衝毀，娘不得不帶著他們兄妹幾人改嫁外鄉的一個獸醫。“張老疙瘩”雖天資聰穎，卻因家貧，隻讀了幾個月私塾便不得不輟學，後跟繼父學相馬、醫馬、騸馬，並因之結識了各路“胡子”（土匪）。後因生活所迫，甲午戰爭期間，他成了大清國的一名騎兵，時年二十歲。
關於張作霖從軍的原因，張學良另有說法。他說，父親是因避禍而投奔了清軍。當年，張作霖和二哥張作孚為給亡父報仇，蓄謀槍殺王某。就在他們夜襲仇人家時，卻無意中驚動了其宅院內的一位老太婆。怕老嫗大叫，張作霖上前掩其嘴，不料手中的槍響了，老嫗登時斃命，宅子內遂一片大嘩！兄弟二人不得不中止複仇行動，連夜潛逃。流浪多日後，張作霖在遠離故裏的“毅軍”當了兵。而他的二哥則被官府緝捕到案，被判刑十年，因《大清刑律》有親屬代為服刑之規定，故張作孚的刑期由其二伯父代服了。
戰爭失敗後，張作霖這位已升至哨長的清軍下級軍官不得不流落回籍。男大當婚，他娶了本地財主趙占元的二閨女趙春桂為妻，因家中太窮而不得不“倒插門”——入贅嶽父家。本來，小日子過得挺安穩，不料卻被村裏一位多事的財主舉報“通匪”而蒙冤入獄，受盡屈辱。出獄後他一氣之下落草於綠林，成為保護一方的黑道首領，後漸成氣候，所部擁有上百人，一直到被新民府知府增韞收為官軍。
這就是張作霖青少年時代的全部履曆。與他同時代的未來軍閥們在讀私塾或讀武備學堂的那些年裏，他卻一個人在荒涼的東北黑土地上啃讀生活的艱辛。
動蕩的成長歲月，使這個生性機敏的小個子擁有了過人的膽識和堅強的意誌，擁有了寧可亡命也不肯認輸的倔強性格，擁有了胸懷白山黑水放眼中原大地的宏誌與耐力。