在這段時間裏，湯恩伯軍團仍在與日軍瀨穀支隊和阪本支隊的殘部作戰。這兩部分日軍逃到嶧縣以後，憑借有利地形占領陣地，企圖等待增援部隊，再圖南犯。嶧縣東有九頂山，西有獐山，南麵是平坦開闊地，利於防守。日軍在九頂山和嶧縣南麵台棗支線正麵和兩側占領陣地，構築工事，郭裏集附近有日軍控製部隊和炮兵陣地，其以東稅郭附近也有日軍一部占領陣地。棗莊附近有日軍飛機著落場。
4月11日，戰區長官部命令各部隊向嶧縣附近的日軍發起攻擊。攻擊的部署是：湯恩伯軍團由東向西，孫連仲集團軍由南向北。湯恩伯的部署是：關麟征軍由東向西，王仲廉軍由東南向西北，形成包圍攻擊的態勢。
關麟征軍附有一個營的野炮兵，到達九頂山以東的辛興莊附近後，奉命向九頂山及其以北各村莊的日軍發動攻擊。關麟征命令鄭洞國師在左，向九頂山及其以南攻擊；張耀明師在右，以主力三個團攻擊九頂山以北各村莊的日軍。軍部留一個團為預備隊。
4月12日早晨，攻擊全麵開始。關麟征軍攻擊的重點九頂山，是嶧縣附近的最高點，東西走向，全是光禿禿的岩石，沒有草木，東端轉向東北的坡度比較緩。鄭洞國師向九頂山及其南麓平地以西攻擊，張耀明師向九頂山東端以北各村莊攻擊。軍部位於九頂山東端一個小村莊指揮作戰。
日軍在山上築有工事，由於山石不容易挖掘戰壕，所以多以麻袋裝土沙石等構成掩體，居高臨下。鄭洞國師第一天攻擊到山腳後，經過偵察，認為白天仰攻目標暴露，難以取勝，決定在夜間采用“精兵奇襲”的辦法，從幾方麵進攻，出敵不意，展開近戰。經過一夜激戰，鄭洞國師占領了此山東半部的日軍陣地，鄭洞國把師指揮所移到山上，督促所部繼續攻擊。
鄭洞國師攻下了九頂山，對於炮火處於劣勢的中國軍隊來說，起到了很大的作用。關麟征十分高興，4月13日上午，率領軍部主要幕僚和少數通信兵及衛士等，在山上設立臨時指揮所。由於目標暴露，引來日軍的炮火轟擊。中國炮兵也加以還擊，一時炮聲隆隆，九頂山上石塊飛揚。關麟征親自指揮炮兵集中火力支援鄭洞國師作戰。他們在山上看到嶧縣南麵台棗支線的日軍不斷向王仲廉軍方麵攻擊，日軍的戰車和裝甲汽車往來頻繁。關麟征拿起電話，直接命令鄭洞國師左翼部隊和野炮兵、山炮兵向那些日軍射擊。
接著，關麟征軍的步兵在炮兵支援下，向台棗支線方麵的日軍發起進攻，使日軍的反攻受到挫折。
激戰到下午4點左右，有九架中國編隊飛機從南往北飛向棗莊上空投彈，棗莊頓時被炸彈煙塵全部籠罩。日軍高射炮忙亂地射擊了一陣。這是抗戰以來，關麟征的部隊第一次看到中國飛機編隊向日軍投彈轟炸。
當天黃昏，鄭洞國師攻占了九頂山西端距嶧縣北關不遠的後村橋。
在鄭洞國師攻擊九頂山的同時，張耀明師也向九頂山以北日軍占領的幾個村莊發動攻擊。
4月13日上午，張耀明師在鄭洞國師的右邊，經過陳嶺和稅郭一線，向棗莊攻擊前進。張漢初旅第一五零團團長高鵬知道稅郭有日軍防守，指揮各營前進到離稅郭二點五公裏附近的村莊，停止不動，隻派出一個連向稅郭的日軍警戒。韓梅村團在高鵬團之後，前進到陳嶺，驅逐了日軍的哨兵，占領了陳嶺及其西北一個小村。
上級用電台命令韓梅村團迅速向棗莊東側攻擊前進。韓梅村命令段培德的第三營在陳嶺及其西北小村作為團的預備隊，並就地構築工事。韓梅村自己率領第一營和第二營及團直屬兩個炮兵連開始向棗莊東側進攻。當第二營接近棗莊東南角一個小村時，突然遭到稅郭方麵日軍的側擊。第二營雖然搶占了這個小村，但傷亡了近百人。韓梅村帶著第一營進入小村，由於受到稅郭方麵日軍大炮的轟擊，第一營也有傷亡，第二連代理連長袁雙亭犧牲了。韓梅村命令第六連連長王存忠指揮第二營，在原地構築工事，第一營也疏散在小村西南麵的麥田裏構築工事，防止稅郭及棗莊的日軍發動攻擊。就這樣，韓梅村團攻擊前進的態勢變成了防守。
下午3點左右，棗莊和稅郭的日軍果然向韓梅村團發動反攻，日軍的飛機、大炮也向韓梅村團陣地轟擊，同時板垣師團也有一部向韓梅村團右側進攻。韓梅村打電話指揮第三營向右警戒，戴安瀾指揮第一四六團增援韓梅村團右翼。就這樣，與日軍形成膠著狀態。當天黃昏，韓梅村團奉命撤退。
經過兩天激戰，張耀明師攻占了九頂山以北幾個村莊，使日軍側背受到很大威脅。
14日下午5點左右，日軍炮兵向關麟征軍軍部所在的村莊射擊，有些炮彈落入村內。張耀明師報告，日軍增援部隊從稅郭方麵向該師右翼第一四五團奚濯之營進行三麵圍攻，該營陣地已被突破，日軍仍不斷增加部隊攻擊。張耀明師經過三小時激戰，右翼陣地才穩定下來。黃昏前後，張耀明師側背又發現日軍的增援部隊，炮彈不斷落到師指揮所周圍。
軍部判斷，向張耀明師右翼反包圍的日軍，應該是日軍磯穀第十師團的增援部隊。為了調整部署對日軍作戰，關麟征於當天夜晚命令張耀明師左與鄭洞國師九頂山陣地銜接，轉移到九頂山以東地區，構成由南麵北的陣地。軍部也轉移到辛興莊附近一個小村莊指揮作戰，與日軍形成相持狀態。關麟征追究這次作戰不利的責任，槍斃了奚濯之，以告戒全軍。
艾山和虎皮山阻擊戰，關麟征軍打出了威風。
4月21日，日軍第五師團陸續從臨沂南下，有向關麟征軍側背攻擊之勢。湯恩伯命令關麟征軍撤退到邳縣以北的連防山、艾山、燕子河一帶占領陣地，王仲廉軍一部在艾山以西至台兒莊之間占領陣地，該軍主力控製在邳縣東南的官湖鎮附近，準備迎擊南下的日軍。
當天晚上，關麟征軍乘夜從九頂山以東陣地出發，向邳縣以北地區推進，22日上午到達連防山、艾山附近地區。該地區西有艾山，東有可以徒涉的燕子河，河與山之間是一片平坦開闊地，中有大劉莊、小劉莊等村落。
關麟征根據防守任務、地形和日軍可能進攻的方向，決定由張耀明師張漢初旅派出高鵬團在連防山占領前進陣地，掩護軍主力占領陣地構築工事。主陣地的兵力配備是：鄭洞國師左接張耀明師艾山陣地，在大劉莊、小劉莊至燕子河之間占領陣地。特別要加強大劉莊和小劉莊的陣地工事，準備固守。張耀明師除派高鵬團在連防山占領前進陣地、構築工事阻擊日軍前進外，主力接鄭洞國師左翼，在艾山及艾山以北的虎皮山和艾山西占領陣地，構築工事。卜福式山炮在艾山南無名小河南岸分散放列，野炮在更後方分散放列。觀測所設在艾山，這是全陣地最高點，高約一百五十米到二百米。炮火用於阻擊日軍，支援兩個師的作戰。
大劉莊北麵有一個相當大的村莊稱為連防山，內有上千戶人家，周圍有殘缺的矮土牆。村莊以北是一片開闊平坦的麥田，西南有虎皮山、艾山西等要點。連防山的位置在守軍陣地的正前方，守住這個村莊，全軍陣地都得到掩護，是主陣地的重要前進據點。張耀明師派到連防山防守前進陣地的高鵬團，如果在這裏認真構築防禦工事，至少可以堅持幾天。但是，高鵬麻痹大意，認為日軍一時不會進攻，打算休息一天再構築工事。
但是，高鵬沒有料到，在他們到達連防山的第二天，即4月23日早晨，日軍便開始了猛攻。先用飛機輪番轟炸，炮兵集中轟擊。高鵬團倉促進入陣地，來不及構築好工事，就被板垣師團主力三麵包圍攻擊。關麟征和張耀明當即登上艾山督戰，還從虎皮山方麵派出部隊向日軍側擊，支援高鵬團。關麟征打電話鼓勵高鵬堅守陣地，並向他許諾，打退日軍以後，就保升他為少將團長。激戰到中午，日軍已攻進連防山村莊內，高鵬團經過與日軍巷戰，大部分退到連防山南端。關麟征嚴令高鵬迅速反攻，高鵬勉強收拾殘部，督戰反攻，不幸中彈犧牲。部隊失去指揮，連防山當天下午失守。但是，進占連防山的日軍，在中國炮兵和大劉莊及虎皮山守備部隊的火力壓製下，受到打擊，未能前進。關麟征命令鄭洞國師派一個團加強大劉莊的防務。
日軍在侵占連防山的同時，又側擊韓梅村團防守的半步子店。韓梅村團第二營第五連拚死抵抗，與日軍逐屋爭奪，形成膠著。
守軍丟失了連防山，主陣地暴露在日軍麵前。日軍持續派飛機在陣地上空盤旋偵察。守軍判斷，虎皮山可能是日軍的下一個攻擊目標。由於虎皮山與艾山連接，是全軍陣地的鎖鑰部，日軍勢在必得。戴安瀾旅防守半步店子、虎皮山和艾山西等地，日夜加強防禦工事。防守虎皮山的韓梅村團第三營，更是不敢怠慢。由於這一帶都是石頭山，構築掩蔽部用的泥土也要從山下運上去。經過兩日兩夜的努力，防務大大加強。韓梅村的團指揮所就設在虎皮山後五百多米處的小山丘上，離第三營指揮所隻有二百米，可以觀察全部陣地。
果然，日軍進占連防山兩天後，先後向虎皮山和艾山西兩個據點發動攻擊。日軍首先集中火力攻擊虎皮山陣地，發射炮彈二百發以上，段培德營雖然築有工事，仍然傷亡近百人。跟隨韓梅村的傳令兵、通訊兵和警衛兵，有二人受傷，一人陣亡。在日軍飛機轟炸和炮火射擊時，守軍隻留少部分人在地麵監視日軍，其餘都躲在掩蔽部內，等到日軍接近陣地時，在炮兵支援下，集中各種武器猛烈打擊日軍，同時派出小部隊從兩翼側擊日軍，給日軍以猛烈的打擊。日軍步兵雖然有坦克車掩護，但當天日軍的兩次進犯，都被段培德營打退。第一天的勝利，大大鼓舞了守軍的士氣。
關麟征根據過去作戰的經驗，為了保持各重要守備部隊的戰鬥銳氣，命令張耀明師覃異之旅和張漢初第七十五旅輪流擔任第一線作戰。對於第一線各據點守備部隊，采取以營為單位，每隔二十四小時輪換一次，保證部隊有較充分的休息時間，保持銳氣。
第二天，日軍以一部對虎皮山作佯攻，主力猛攻艾山西，企圖從側背切斷艾山與虎皮山的聯係。這一天的戰況，比前一天激烈。張漢初旅派出劉世懋第一四九團的部隊從側麵襲擊進犯的日軍，使日軍遭受重大傷亡，再次打退了日軍的進攻。
第三天，日軍再次向虎皮山猛攻。在坦克車掩護下，日軍的步兵增加了一倍，守軍用蘇羅通小炮擊毀了幾輛日軍坦克。這時，代理營長王存忠率領第六連向接近虎皮山山腳下的日軍步兵猛烈衝擊，日軍沒有防備，死傷很多。守軍第六連也傷亡過半，王存忠英勇犧牲。這時候，韓梅村命令第一營派出一個連從虎皮山左側突擊日軍的右翼。這天的戰鬥，日軍死傷慘重，殘餘的日軍向後逃竄。
白天日軍屢次失敗，守軍判斷日軍可能在夜間進攻，連忙準備夜間射擊設備。果然，日軍經過休整後，改在夜間攻擊。一部分日軍攻擊半步店子，分股衝擊虎皮山。
這一夜戰況異常激烈，日軍占領了半步店子一部分，與守軍展開肉搏戰和巷戰。虎皮山朝向日軍的一麵也被日軍占領。守軍必須在天亮前將日軍擊退，否則白天日軍的飛機和大炮配合，對守軍很不利。當夜，守軍組織火力給日軍以殲滅性的打擊。近距離用手榴彈和六零迫擊炮，山腳至山腰用八二迫擊炮，更遠處用卜福式山炮及野炮，由近到遠構成濃密火網。
深夜兩點左右，守軍用各種火力同時向日軍射擊，並從正麵和兩翼派出少數部隊向日軍襲擊，兩個小時後將日軍全部打垮。天亮時，守軍發現陣地前日軍丟下很多屍體。日軍用炮火封鎖，用飛機在上空掃射，阻礙守軍清掃戰場。半步店子殘餘的日軍占據幾個獨立房屋，頑強抵抗。守軍判斷日軍第二天晚上可能以攻擊掩護來搬屍體。黃昏前，守軍工兵在陣地前沿埋下地雷，並加強側防火力。天黑後，日軍果然發起攻勢，在守軍陣地前遭到很大傷亡。守軍乘夜把半步店子的日軍趕走了。這一晚的戰況不如前一晚激烈，日軍在天明前就退走了。日軍繼續用炮火封鎖，並有飛機監視，使守軍無法清掃戰場。從此之後，日軍再也沒有攻擊虎皮山。
日軍在守軍陣地前丟下了許多屍首和武器。日軍遺棄的屍體發出難聞的臭氣。張耀明師的第一線守備部隊有時乘日軍潰退的時候，派部隊在陣前麥田裏收集日軍遺棄的武器彈藥補充自己。
日軍向張耀明師陣地衝鋒未能得逞，過了兩天，又增派部隊向鄭洞國師陣地攻擊，鋒芒指向大劉莊附近各村莊的陣地，企圖從大劉莊對守軍陣地實行中央突破。大劉莊是一個較大的村落，幾天來，鄭洞國師構築的防禦工事不斷加強，村與村之間構成交叉火力。陣地前是一片平坦開闊的麥田，有利於發揮火力，又能得到張耀明師右翼在虎皮山和半步店子的輕重機槍、蘇羅通小炮組成的火力支援，加上軍屬炮兵的射擊支援，日軍前進都在守軍火力控製之下。
日軍經過火力準備後，利用拂曉，在飛機、炮兵的掩護下，向大劉莊陣地猛撲，遭受到守軍步炮兵濃密火力的打擊，死傷甚多，紛紛向連防山方麵潰退。鄭洞國師以團為單位，每經一次戰鬥，就輪換守備第一線陣地，始終保持了第一線作戰部隊的戰鬥力。
日軍第一次向大劉莊進攻失敗後，過了一天，夜晚又接近守軍陣地，被中國守備部隊發現。這一晚戰況十分激烈。守軍用蘇羅通小炮從艾山陣地不斷側射曳光彈，使日軍隱蔽困難。黎明，雙方又發生激烈戰鬥，日軍在飛機、炮火掩護下，反複向大劉莊陣地發動衝鋒，在守軍正麵和側麵火力打擊下，死傷過重，狼狽潰逃。
日軍在這兩次攻擊中都遭到守軍艾山上的火力射擊和炮兵射擊，於是集中炮兵火力和飛機投彈，企圖破壞守軍側防設備和炮兵陣地，都未能得逞。
日軍從正麵攻擊一再失敗，過了兩天，又增加兵力，以一部向大劉莊攻擊，以大部向鄭洞國師右翼陣地攻擊。經過一天激戰，攻占了大劉莊東麵一個小村莊，乘夜向大劉莊陣地繼續攻擊。
第二天拂曉起，日軍向大劉莊陣地兩麵攻擊，整個大劉莊被日軍炮火煙塵全部籠罩，戰鬥空前激烈。關麟征當時在艾山炮兵觀測所附近，指揮炮兵向日軍集中射擊，命令張耀明師盡量利用各種武器側擊日軍。他還在電話中鼓勵守備大劉莊的鄭洞國師第七團團長劉玉章堅守陣地，打擊日軍。劉玉章在戰鬥中負傷，仍然指揮所部堅持戰鬥，終於保住了陣地，使日軍進攻受到挫折。
但是，日軍潛伏在陣地前的麥田裏，強行構築工事，企圖再次進攻。鄭洞國師增加兵力，利用夜暗，出其不意地出擊，殘敵隻得潰逃。日軍在守軍陣地前丟下了大量屍體和武器。守軍先後在陣地前拾到步槍二百多支，輕機槍十挺，還有戰刀、手槍、太陽旗和日軍官兵日記手冊等等。在這次作戰過程中，許多中外記者先後來到關麟征軍軍部和師部參觀訪問，都要求給他們一些戰利品作紀念。
從關麟征師先後繳獲的日軍證件來看，這次向關麟征軍陣地進攻的日軍，以板垣師團為主，但也有磯穀師團部隊參加。在這次作戰過程中，關麟征軍一名團長陣亡，一名團長受傷，營連長以下，傷亡很大。合計經過台兒莊戰役，嶧縣附近戰鬥，及這次陣地防守戰，全軍傷亡過半。但日軍這次通過平坦開闊地帶向關麟征軍陣地發動多次進攻，都以失敗而告終，傷亡更大。這次陣地攻防戰，經過將近一個月的激烈交火，結果成了對峙局麵。
張自忠軍在郯城以南阻擊日軍，打得十分漂亮。
台兒莊大捷以後，張自忠軍和龐炳勳軍也仍在繼續戰鬥。張自忠軍經過臨沂戰役之後，傷亡奇重，兵員銳減，亟待重新組合整理，以利爾後之作戰。尤其黃維綱第三十八師，在作戰前有一萬五千人，臨沂戰役之後，所餘不足三千，張自忠決定將該師集中編為一個旅，約一千人，由李九思任旅長，歸軍部直接指揮，其餘官兵由師長黃維綱率領，到徐州西黃口和商丘一帶接收和訓練新兵。劉振三的第一八零師還有六千多人，仍然保持兩旅四團建製，但實際上每團人數都不足。4月上旬，張自忠軍奉命撤到卞莊以南長城村鹿山東一帶休整。
這時候，日軍已從臨沂進占郯城，企圖切斷隴海路，進擊海州的中國守軍。張自忠軍接到第五戰區命令：
著第五十九軍即留山東敵後方開展遊擊，牽製敵人，將不能攜帶的重武器秘密掩埋，不能攜帶的文件一律銷毀。
張自忠當即召集連長以上長官開會，傳達了這一命令。部隊正在調整中，又接到戰區另一道命令：
敵人占領臨沂、郯城後，正南進想切斷隴海路，著第五十九軍前令停止，即由現駐地出發，渡沂河截擊由郯城南進之敵。
張自忠又召集團以上軍官講明新情況和新任務，當即命令劉振三師從吳家道口渡河，經北謝、半莊和大王莊前進。軍部隨李九思旅跟進。劉振三師的先頭部隊是第二十六旅，張宗衡率崔振倫的第六七八團，從吳家道口渡河到北謝時，偵察到郯城的日軍已向南出動。4月10日，崔振倫團前衛營在大王莊與日軍遭遇。
前衛營倉促應戰，當即在村中發生激烈戰鬥。日軍很快就占領了大王莊，後續部隊不斷增加。張宗衡隻好命令部隊撤出村外，第二十六旅主力在大王莊以西麥田內展開，與日軍形成對峙狀態。這時候，劉振三師的其他部隊都到達半莊附近，軍部也到達馮家窯。
日軍一部與張宗衡旅交戰，另一部向張自忠的軍部進攻。一時雙方槍炮齊鳴。由於張自忠沉著指揮，日軍不敢冒進。後來由劉振三師接替，軍部才轉移到大沂莊一帶指揮作戰。而張宗衡旅在半莊和馮家莊與日軍作戰一整天，不分勝負，互相沒有進展。
黃昏後，戰況沉寂。劉振三將全師做了如下部署：張宗衡旅範紹楨第六七六團為第一線，占領展莊、大拐等村，祁光遠旅位於馮莊後村，除對西、北兩麵嚴密警戒以外，主力集中在馮莊，隨時策應張宗衡旅作戰。師部直屬隊位於郇樓村附近。各部調整後，連夜構築環村工事，達到都能獨立作戰的程度。
4月11日拂曉，馮家窯的日軍先用炮火向張宗衡旅陣地猛轟，傾瀉了幾千發炮彈，在8點左右，步兵實行強攻。日軍從馮家窯出發，沿著起伏的地帶，排成縱隊，瘋狂地向展莊陣地衝鋒。守軍毫不畏懼，沉著應戰。他們隱蔽在陣地內，把各種輕重武器準備好，直到日軍進入射程以內，才一齊開火。槍彈像暴風雨一樣地掃向日軍。日軍第一線兩百多人，立即倒在陣地前麵。