3月14日淩晨3時，張自忠指揮第59軍右翼隊強渡沂河。占領東岸後，即向日軍的右側發起猛烈攻擊，日軍頓時陷入混亂。張自忠指揮部隊殲滅日軍2000多人。並在以後數日，逐漸奪回亭子頭、大太平、徐家太平、沙子嶺等多處據點。
日軍於3月16日在航空兵的配合下，向第59軍陣地反撲，受到第38師官兵頑強抗擊。
龐炳勳的守城部隊看到張自忠將軍援軍趕到，士氣大振。3月18日，第59軍與第3軍團內外夾擊，分別從東麵、南麵和西麵三個方向，攻擊湯頭、王疃、傅家池附近的日軍，經過3天激戰，日軍狼狽向莒縣逃竄。
這次戰鬥，張自忠與龐炳勳密切合作，共殲滅日軍3000多人，擊落飛機1架，擊毀坦克6輛，繳獲大量槍支彈藥和軍用物資，取得了臨沂戰場的第一次勝利。中國軍隊也付出了傷亡3000多人的代價。
3月23日，日軍第21旅團補充兵員，得到第5師團增援後，再次向臨沂發動猛攻。龐炳勳指揮部隊在沂河西岸堅守，逐步撤退到臨沂近郊。龐炳勳深感兵力不足，連特務營、學生隊都投入戰鬥。
李宗仁為了守住臨沂這個要點，再次令張自忠率部馳援臨沂。此時，台兒莊戰役已經打響，臨沂的得失，直接關係到台兒莊戰役的成敗。
3月24日，張自忠指揮第59軍主力，從臨沂西北方向對日軍的側背發起攻擊，一部分兵力前往臨沂城，增援龐炳勳堅守臨沂。
第59軍向日軍發起攻擊之初，進展順利，但日軍稍作調整後，憑借優良武器裝備，向第59軍進行反撲。激戰持續了數日，日軍遭到重大傷亡。當日軍增兵，全力爭奪茶葉山時，張自忠令總預備隊投入戰鬥，日軍反攻受挫。
3月29日下午，張自忠下達了全軍總攻擊的命令，在中國軍隊的強大攻勢下，日軍被迫撤退。當追擊到沙嶺子時，日軍突然停止退卻，憑借已有工事和優勢火力頑強抵抗。國軍幾次衝鋒，都未湊效，部隊遭受重大傷亡。在這千鈞一發關頭，張自忠拿起筆，寫下三條手令。手令中寫道：
“敵人亦到最後關頭，看誰能忍最後之一秒鍾，誰就能成功。我困難，敵之困難更大；我苦戰，敵之苦處數倍於我，望率所部撐眼前這極小之時間，甚盼，甚盼！”
張自忠的手令傳到部隊，士氣大增。在中國軍隊震天動地的衝殺聲中，日軍再次敗退了。
4月初，日軍重新組織力量，對臨沂發起第三次攻擊。此時，第五戰區國軍，已對孤立冒進的日軍磯穀師團基本形成了包圍，一旦日軍第5師團突破臨沂，與磯穀師團會合，將對台兒莊地區作戰造成重大威脅。為此，李宗仁嚴令龐炳勳堅決守住臨沂，拖住板垣征四郎的後腿。
4月19日，日軍飛機對臨沂城進行猛烈轟炸，日軍地麵部隊看到臨沂城西城門被炸毀，立即發起衝鋒，湧入臨沂城。龐炳勳和張自忠指揮部隊，同日軍一條街一條街的爭奪。那幾天，臨沂城內，街街巷巷都在發生肉搏戰，官兵決不放棄臨沂。直到台兒莊戰役接近尾聲時，中國軍隊才奉命退出臨沂，向郯城等地轉移。
持續數月的臨沂保衛戰，張自忠、龐炳勳兩部互相配合，挫敗了日軍最精銳的第5師團，使其與第10師團在徐州北麵會師的企圖成為泡影。張自忠捐棄前嫌，精忠報國的業績永載史冊。
臨沂戰鬥，我軍傷亡9000多人，為台兒莊大捷奠定了基礎。戰後，張自忠提升為第27軍團軍團長，同時兼任第59軍軍長，晉升上將軍銜。
日軍第5師團向臨沂進攻的同時，第10師團以第33旅團為基礎組成的瀨穀支隊，從鄒縣以南地域沿津浦路南下，攻占了界河，迂回到國軍第22集團軍的側背。
第22集團軍下轄第41、第45軍，孫震為總司令，1938年1月進至臨縣、滕縣。2月，第122師師長王銘章，被任命為第41軍前敵總指揮。
日軍進攻滕縣，王銘章臨危受命，川軍雖說1個師，實隻有兩團多人。北線西路日軍的進攻直接威脅到徐州的安全，此時徐州空虛，援軍尚未調到。蔣介石當即向第五戰區下達命令：“第41軍王銘章，務必死守滕縣三日，以待增援部隊鞏固徐州。”
北線西路日軍南下如此迅速，李宗仁為阻止北線西路日軍的進攻，確保徐州地區的安全，於2月10日令第3集團軍總司令孫桐萱，指揮所屬部隊向運河以東推進，襲取濟寧。
孫桐萱指揮第22師強渡大運河，攻入濟寧城，與日軍在濟寧城內展開激烈的巷戰。由於日軍及時得到增援，第22師遭受重大傷亡，被迫於2月17日晚撤到運河西岸。中國軍隊雖然殲滅日軍1000多人，但未實現奪回濟寧的意圖，部隊傷亡3000多人。磯穀廉介指揮部隊不斷向南推進，兵臨滕縣城下。
進攻滕縣的日軍由第10師團第33旅團瀨穀啟少將指揮，共1.5萬餘人。這路日軍人數雖然不多，但配備了眾多炮兵，在炮兵火力上有較大優勢。天剛剛亮，日軍的飛機就飛臨滕縣上空，對滕縣狂轟濫炸，炮彈一陣接一陣地落在滕縣縣城。日軍在坦克的掩護下，向中國守軍陣地發起攻擊，國軍在師長王銘章指揮下，拚死堅守。孫震也於當日趕到前線，鼓勵士氣。
3月15日，日軍陸續增加部隊，上萬日軍向滕縣右側迂回，加強了對滕縣的進攻。下午5時，日軍主力向滕縣逼近。
此時，王銘章能夠指揮的守城部隊，隻有8個步兵連、1個衛生隊，連同滕縣縣城的警察和保安隊，一共不到3000人，真正有戰鬥力的部隊隻有近2000人。麵對裝備精良日軍的連續進攻，王銘章臨危不懼，指揮部隊一次又一次地把日軍的進攻擊退。
3月16日，從黎明開始，日軍向滕縣東北方向發動猛攻，上萬發炮彈瀉落城內，飛機整整轟炸了一天。第127師師長在戰鬥中負傷。堅守滕縣外圍各主要據點的國軍互相隔離，被迫各自為戰，一些據點官兵全部壯烈犧牲。根據孫震的指示，王銘章把城外兵力收縮到縣城內防守。滕縣仍在國軍手中。
日軍優勢兵力久攻不克，磯穀廉介惱羞成怒。當天晚上，他把全部日軍、70多門大炮、近50輛戰車調集過來，把滕縣鐵桶般包圍起來。
滕縣戰局越來越嚴重，第22集團軍在臨城隻有第41軍特務營，孫震為解滕縣之圍，命令特務營營長率3個步兵連星夜出發，急行軍趕往滕縣增援，孫震身邊隻留下1個手槍連。
3月17日拂曉，日軍向滕縣猛烈炮擊和轟炸，每分鍾都有幾十發炮彈落到縣城。敵機接連不斷地投彈掃射，到處硝煙迷漫，一片火海。東南角的城牆被炸塌了，日軍在坦克的掩護下，向缺口衝擊。王銘章指揮官兵用機槍、手榴彈頑強抗擊。陣地上到處是國軍的屍體和日軍的屍體。
下午，日軍繼續用重炮猛烈轟擊滕縣，敵機的攻擊越來越頻繁，預先構築的工事幾乎夷為平地，團長王麟在炮火中犧牲了，守城官兵大部分在同日本兵的拚殺中光榮殉國。陣地上剩下的人都已血肉模糊，連麵目都分不清了。
王銘章意識到，這是軍人報國的最後關頭，他給孫震發了最後一份電報：“目前敵用重炮、飛機從晨至午不斷猛轟，城牆缺口多處，敵步兵屢次登城，屢被擊退。”王銘章最後表示：“決心死拚，以報國家，以報知遇。”
發完電報後，王銘章神情泰然。他看見滕縣縣長周同站在身邊，即語氣和藹地說：“周縣長，你可以走了，你應該走了。守城，有我指揮。”
周縣長平靜地說：“王師長，守土有責這四個字，我是明白的。抗戰以來，隻有殉國的將軍，沒有殉職的地方官。我們食國家之祿的，非常慚愧！我為一縣之長，決不苟生，我要做一個為國犧牲的地方官。”