出生在大馬車上的張學良，養育在遼寧省台安縣桑林子九間鄉鄂家村詹家窩堡屯其表哥趙明德家。其母趙氏（名春桂），性格剛烈而又十分善良，生有一女二男（即首芳，學良，學銘），因為張作霖闖蕩在外，尚未發跡，家境十分困難，趙氏生張學良後就病了，沒有奶水，孩子隻能靠奶媽喂養，奶媽45歲，是花一塊銀圓雇來的。
1986年張學良在跟晚輩談及此事時說：“在娘胎裏上帝就造就了我，他們都沒想到我還能活著。我過去身體很不好，有個大夫說，我的身體很壞。我是靠喝米湯活著，不是你們今天喝的大米湯，而是高粱米湯，後來再大一點，則由大人把煮熟的高粱米嚼碎喂我吃，就這麼活著。活到一歲多。那時我們家還窮得很，雇了一個奶媽子，她對我很好，後來我一直養著她。因為生活太苦，我五六歲時，連話都說不清楚，我舌頭短啊，不好使，小時候人家都說我不會說話了。你爺爺到外邊去做事，把你奶奶扔在家。她不回娘家。本來我外爺家多少富裕一點，是個小地主，可我們沒有飯吃啊，睡的床也沒有，奉天那裏都是睡炕，沒有炕席啊，隻能直接在土坯壘成的炕上睡覺。我媽常讓我看她的腿，就是這個地方（張比劃著自己的腿部）都磨成了膙膙。你們知道嗎？這是怎麼來的，這是睡炕睡出來的。我爸爸常告訴我，你可不能對你舅媽不好，沒有你舅媽，就沒有你。那時我媽沒有飯吃啊，有時幾天都吃不上飯，是我舅媽從她們家裏偷點米送給我媽吃，我原來不喜歡我舅媽，所以我爸爸才經常提醒我不要忘恩。鑒於此，我舅媽死後，舅媽一家都是我養活的。那時窮啊，你爺爺冬天穿個大褂，還裝漂亮。……”正是因家境貧寒，生活艱辛，操勞過度，張學良的母親趙氏1911年病故，年僅38歲。
張學良的幼年是在這樣動蕩不安、家境窮困的環境中度過的。這一客觀事實給他幼小稚嫩的心靈打下了深深烙印，對他後來的成長和愛國愛民思想的萌生，產生了深遠影響。
趙氏生前與張作霖的二夫人盧氏相處甚好，臨終囑托盧夫人撫養學良姐弟。同年，張學良與姐弟隨盧氏進入東北的政治、經濟、文化中心——奉天（今沈陽）。
張作霖望子成龍，在家為子女開設私塾館，聘請名師楊景鎮、白永貞、宋文林、金梁等任教，奠定了張學良深厚的中國傳統文化功底。1915年，張學良拜奉天交涉署英文科長徐啟東為師學習英文，同時又跟東三省測量局局長陳英學習法語和數理化知識，這使他打下了堅實的外語基礎。與此同時，張學良接受西方資產階級民主主義思想，使他成為開放型的人物。
1916年，張學良經周大文介紹加入奉天基督教青年會，經常由閻寶航陪同參加青年會舉辦的各種活動，與閻寶航結為莫逆之交。
張作霖共有6位夫人，14個子女。其中8男6女。
張學良則有7弟、1姐、5妹。弟者：學銘、學曾、學思、學森、學俊、學英、學銓；姐者：冠英（字首芳）；妹者：懷英、懷朣、懷青（也叫懷卿）、懷曦、懷敏。他非常尊敬大姐，特別喜歡最有出息的四弟張學思。
張學良自幼天資聰穎，活潑頑皮，膽大妄為，善於觀察人物，喜讀文藝傳記，常有獨立見解。初學為文，即能下筆千言，尤愛各項體育運動。陸續學會騎摩托，開汽車，駕飛機；他一向佩服強者，同情弱者，“任可為好漢子牽馬墜蹬，不給懶漢子當祖宗。”