張自忠，字藎忱，1891年8月11日出生在山東臨清唐元村的一個官宦家庭。張自忠6歲入私塾就讀，3年後，父親張樹桂前往江蘇贛榆就任巡檢，把張自忠也帶了去。
1905年，張樹桂因政績不錯，署理贛榆知縣，官晉五品。此時張自忠14歲，已長成一個英姿勃發且充滿正義感的少年。張樹桂見兒子長大了，又生性剛烈，就把他送回了臨清老家。張自忠回臨清不久，就從贛榆傳來噩耗：父親因病卒於任上。
光緒三十四年（1908年），他考入了臨清高等小學堂。強調忠、孝、仁、義的傳統道德從小便在張自忠的內心深深紮下了根。
學習之餘，張自忠常借一些來閱讀消遣。最讓他喜愛的是《三國演義》《說唐》和《說嶽精忠傳》。這些古典名著對傳統道德作了活生生的注釋，關雲長、嶽武穆和秦叔寶的忠義俠行和浩然之氣對他影響頗深。
宣統三年（1911年）10月，辛亥革命爆發。冬，張自忠考入了當時中國北方有名的法律學校天津北洋法政學堂。在這裏，他第一次接觸到孫中山的三民主義學說和“驅除撻虜，恢複中華，建立民國，平均地權”的資產階級革命政綱。
這些振聾發聵的進步思想在他原本隻知孔孟之道的頭腦中增添了嶄新的內容，對他日後的成長產生了相當大的影響。1911年底，張自忠秘密加入同盟會，親身投入了轟轟烈烈的革命運動。
1916年9月，同鄉好友車震偕張自忠到了廊坊，將他推薦給了馮玉祥。馮玉祥聽了老友的介紹，又將張自忠上下打量一番，見他長得高大英武，且頗有“沉毅之氣”，便很滿意地收下了他。
投奔馮玉祥之初，張自忠被委為中尉差遣。不久，張自忠由見習官升任排長，所在連連長就是後來頗有名氣的“倒戈將軍”石友三。
1918年9月馮玉祥在常德設立了軍官教導團，以炮兵團團長鹿鍾麟任團長。張自忠奉派進入教導團軍官隊深造。主要學習戰術、率兵術、地形、兵器、兵史、築城、簡易測繪等。
1924年春，張自忠被馮玉祥任命為學兵團團長。是年秋，第二次直奉戰爭爆發。吳佩孚任命馮玉祥為第三軍總司令，令其出古北口進擊開魯，但馮玉祥暗中班師回京，與駐防北京的孫嶽部裏應外合，發動北京政變，囚禁直係首領曹錕，並將溥儀皇帝驅逐出宮。
在此過程中，張自忠部受命由古北口直趨長辛店，截擊吳佩孚的交通兵團，迫其繳械投降。不久，張自忠奉命移駐豐台。張自忠率部到達豐台，驅逐英軍，重獲豐台主權。
1930年5月，中國近代史上規模空前的軍閥混戰——蔣馮閻中原大戰爆發，雙方投入的兵力高達130萬人。此時，張自忠任第6師師長，編入張維璽統領的南路軍。
5月初，南路軍首先在平漢線向蔣軍開戰。5月中旬，張自忠指揮第6師一夜之間從蔣軍徐源泉部手中奪回許昌十五裏店。6月中旬，張自忠等部由平漢線轉用於隴海線，支援東路軍。在高賢集打敗蔣軍精銳張治中之教導第2師。
他的參謀長張克俠評價說：“其決心堅強，臨危振奮。每當情況急迫之時，輒鎮靜自持，神色夷然。”
1930年9月18日，一直坐山觀虎鬥的東北軍統帥張學良宣布放棄中立立場，通電擁蔣，隨即揮師入關，占領華北。張自忠的第6師除了配屬粱冠英的第17旅隨梁投蔣外，尚有第15、16旅一部和手槍團大部，約5000人，是西北軍殘部中最完整的部隊之一。
1931年1月16日，西北軍殘部正式編成東北邊防軍第3軍，宋哲元任軍長，秦德純、劉汝明任副軍長，馮治安任37師師長，張自忠為38師師長。同年6月，南京政府開始整編全國陸軍，第3軍改番號為第29軍。
1933年1月10日，二十九軍主力奉命由山西陽泉開赴通州、三河、薊縣、玉田待命。這是張自忠有生以來第一次同日軍交戰。
1933年3月4日承德失陷後，二十九軍奉命赴喜峰口阻敵，冷口防務交商震部接替。3月7日，張自忠與馮治安抵達遵化三屯營與日軍激戰七日，日軍無法獲勝，轉而將主攻方向轉到羅文峪方麵。
張自忠、馮治安將37師劉景山219團和38師祁光遠228團調往羅文峪方麵，歸劉汝明師長指揮。戰鬥結果，日軍再遭敗績，狼狽撤退。這是抗日戰爭前期中國軍隊少有的勝利之一。