1937年11月，張自忠任馮玉祥西北軍舊部第59軍軍長，在誓師會上張自忠對部眾痛哭誓言：
“今日回軍，除共同殺敵報國外，是和大家一同尋找死的地方。”
中國軍隊在台兒莊與日軍展開激烈巷戰。1938年慘烈的台兒莊大戰爆發。1938年3月號稱日寇“鐵軍”的板垣師團一路突然進逼，兵臨魯南軍事要地臨沂城下，以優勢兵力圍攻守軍龐炳勳第40軍的5個團。張自忠親自率部出征，一晝夜強行軍180公裏以解臨沂之圍。
14日淩晨，張自忠指揮全軍暗渡沂水，向日寇“鐵軍”的精銳第5師團右側背發起攻擊。他抱定拚死的決心，致電鹿鍾麟：
“戰而死，雖死猶生；不戰而生，雖生亦死。”
麵對突如其來的59軍，日本第5師團被迫放棄正麵攻城，轉對張自忠部作戰。雙方展開混戰，59軍與日軍短兵相接，往來幾個回合，幾度形成白刃戰。
16日，戰區認為59軍傷亡過重，建議撤退，但張自忠堅持再打一天一夜。他說：
“我軍傷亡很大，敵人傷亡也大。敵我雙方都在苦撐，戰爭的勝利，決定於誰能堅持最後5分鍾。既然同敵人幹上了，我們就要用精神和血肉拚命幹一場，不打敗敵人誓不罷休！”
16日夜10時，59軍向敵發起猛烈攻擊，拚殺至17日淩晨4時，59軍勝利攻克日軍全部主陣地。
18日張、龐兩軍從東、南、西三麵夾擊日軍，經過三晝夜血戰。日寇“鐵軍”精銳第5師團終被擊潰，殘敵大部逃竄。有資料記載：“日軍以載重汽車運回莒縣屍體約一百餘車。來不及運回者、就地掩埋者達七八百具。”
此次作戰從3月14日一直持續到19日，59軍傷亡4482人，其中軍官傷亡199人，全軍可戰之兵僅有1.3萬人。成建製戰死者有獨立26旅678團第2營，113旅226團第6連、第10連，114旅227團第12連。張自忠心情沉重地說：
“多年患難的弟兄們為國家犧牲了，這心裏的難過，真比油煎還狠！但我相信，我領導他們走的是一條光明大道，雖死猶榮！軍人報國，此其時也！說不定哪天我張自忠也會犧牲在抗日戰場上，這是一個軍人在國家危難時應盡的責任。”
21日下午，張自忠率59軍餘下部隊冒雨奉令向費縣集結，欲威脅進攻日本第10師團左側背。3月22日晨，59軍到達費縣縣城。不料被張自忠打得一籌莫展的板垣征四郎，突聞張自忠部他調，忙糾集殘部、調派援軍，向臨沂發起猖狂反攻。龐炳勳以疲憊之師孤軍應戰，隻有招架之功，被迫退守臨沂以東，並頻頻發出求援的急電。23日張自忠奉命率59軍速返臨沂。
剛剛浴血奮戰七晝夜的59軍官兵都沉浸在對死去戰友的懷念之中，心情十分沉重，加之往返奔波，備極辛勞，官兵們對於戰區朝令夕改的不當指揮頗有怨言。為安撫軍心，鼓舞士氣，張自忠親自到180師訓話，張克俠參謀長在日記中寫道：
“軍長訓話時，官兵皆哭，誠亦傷心事也。多少可愛兒女，已血灑疆場矣！”
是日夜晚10時，59軍以強行軍回返臨沂。全軍官兵浴血奮戰，誓死堅守陣地，極大殺傷了日寇“鐵軍”。
29日中國援軍20軍團騎兵團和57軍333旅先後到達臨沂。30日張自忠下令反攻，日軍抵擋不住，師團長阪垣征四郎丟棄了大衣和手杖，落荒逃命，第二次臨沂戰役勝利結束。
李宗仁致慰張自忠部指出：
“最大收獲，就是將板恒、肌穀兩師團擬在台兒莊會師計劃徹底粉碎。造成台兒莊血戰時，肌穀孤軍深入為我圍殲的契機。”
曆經此兩次血戰，59軍傷亡慘重，僅連長就傷亡120名。而日軍第5師團從3月3日發起臨沂作戰，苦戰至月底，仍未能越雷池半步，這號稱“鐵軍”的日寇精銳第5師團兩次敗北，對於日本“鐵軍”來說，實在是奇恥大辱。板垣征四郎寢食難安，惱羞成怒，幾欲自殺。
從這個戰役全局來看，臨沂是獨立於台兒莊方麵的另一個主戰場，這兩次殲敵5000餘人的臨沂戰役本身就是台兒莊戰役的有機組成部分，臨沂戰役的意義遠遠超出了序幕戰和外圍戰的範圍。張自忠因臨沂戰役的勝利升任第27軍團軍團長，兼59軍軍長。1938年10月，張自忠升任第33集團軍總司令，後兼第5戰區右翼兵團總司令。