王銘章率部進入滕縣後，立即進行戰鬥部署。他命令王誌遠第三六四旅張宣武第七二七團進駐滕縣以北十五裏的北沙河，布置第二道防線；命令童澄第三六六旅王文振團進駐滕縣東北的平邑和城前，以掩護第四十五軍陣地的側背，並防備臨沂方向日軍板垣第五師團的側擊。
3月14日拂曉，日軍磯穀師團瀨穀支隊步兵和騎兵七千多人，配備大炮二十多門，坦克二十多輛，在三十多架飛機掩護下，向滕縣外圍第四十五軍第一線陣地展開全線進攻。王士俊師和陳離師憑借既設陣地，勇敢迎戰。
川軍的武器裝備盡管在戰前得到一些補充，但仍很差，輕、重機槍是四川土造的，不僅數量少，而且質量差，經常發生故障。步槍的口徑不一，長短不齊，有單響，有三響的，甚至還夾雜著不少前清時的老槍，打幾十發子彈就出毛病，並且對遠射程不起作用。士兵們基本不用步槍射擊，隻準備在肉搏時使用。全軍沒有騎兵，除步兵團各有一個迫擊炮連外，沒有一門野炮或山炮，更沒有任何防空武器和反坦克武器，配備的迫擊炮火力，距離二千米以外就失去了殺傷力。部隊的通訊設備也很差，旅以上才有無線電。川軍就是憑借著這些簡陋的武器和裝備，同武裝到牙齒的日軍展開了殊死的搏鬥。
他們先以迫擊炮火力阻止日軍的前進，待日軍接近陣地時，便用重機槍和手榴彈猛烈反擊，一枚枚手榴彈投入日軍群中，炸得日軍血肉橫飛。中國軍隊傷亡也很慘重，如陳離師周營官兵全部壯烈犧牲。
雙方激戰一天後，除香城、下看埠、白山、黃山等中國軍隊局部陣地被日軍占領外，界河鎮東西一線的正麵主陣地仍然巋然屹立。
駐臨城的孫震總司令，得到日軍大舉進犯的報告後，立即乘火車趕到滕縣了解戰況，並赴前沿陣地視察。隨後孫震在北沙河召集各師長、旅長、團長和幕僚長開會，向他們傳達了李宗仁轉來的蔣介石的命令：“第四十一軍固守滕縣城三日，遲滯敵軍，以待後方隴海鐵路轉運增援兵力，鞏固徐州。”隨後，孫震堅毅地說：“為了抗戰全局，我們全軍將士要人人抱有敵無我，有我無敵的決心，與敵死拚！”
正在這時候，日軍六架轟炸機飛到北沙河上空，反複投彈掃射，正在構築第二道防線的張宣武團，竟然傷亡六七十人。
這一天，稅梯青師派第三七二旅旅長曾甦元率領熊義順營及江有厚的加強連馳援東深井，在第七四零團左側方的池頭集與進攻的日軍激戰，奮力支撐，迫使日軍一時無法前進。
15日拂曉，日軍除繼續由正麵猛攻外，還加強了兩翼的攻勢。日軍一支三千多人的部隊，向守軍第一線陣地的右後方龍山和普陽山迂回包圍。右翼龍山一帶因地形有利，又有陳離師主力防守，所以形勢還算穩定。左翼深井方麵，另一支日軍三千多人，從濟寧東南的石牆出動，步兵、騎兵和炮兵相配合，向稅梯青師呂康第三七零旅進攻。該旅布防不久，工事簡陋，力量薄弱，傷亡太大，形勢危急。王銘章急調滕縣城中僅有的一支戰鬥部隊——稅梯青師的曾甦元第三七二旅至深井以南的池頭集建立第二道防線，以掩護深井呂康旅的後背，並加強縱深防守能力。
這天中午，王銘章為了防止日軍鑽隙滲透到滕縣左側，命令北沙河的張宣武團抽出一個營的兵力，到滕縣西北十七八裏的洪町和城西南三十多裏的高廟布防，阻擊日軍。
中國軍隊十個連防守滕縣，打退日軍一整天的進攻。
3月15日下午，正麵進攻的日軍越來越多，但仍未能突破守軍的界河正麵陣地，龍山和普陽山也仍在第四十五軍手中。於是，日軍一萬多人從龍山以東伸展，向滕縣方向右旋迂回。下午5點左右，日軍先頭部隊已分別到達滕縣城東北十多裏的馮河與龍陽店一帶。十分明顯，日軍的企圖是撇開守軍正麵陣地，直接攻擊滕縣縣城，迫使守軍第一線正麵陣地不戰自棄。
由於孫震集團軍的作戰指導是企圖以陣地防禦將日軍阻止於滕縣以北，所以在日軍進攻前後逐次將主要戰鬥部隊全部部署於滕縣城北各地，滕縣城關地區僅有王銘章師、稅梯青師和陳離師三個師部，加上王誌遠第三六四旅一個旅部，每個師部和旅部隻有一個特務（警衛）連，加起來也隻有四個特務連的戰鬥部隊，其餘都是通信連和衛生隊。當日軍迫近縣城時，城防的形勢十分危急。
就在這時候，第五戰區電令孫震：“滕縣為津浦路北段要點，關係全局，應竭力死守。”身在臨城的孫震，將命令轉達給了王銘章，王銘章便思考著如何加強城防力量。他電令在平邑和城前一帶尚未與日軍接觸的童澄第三六六旅火速回援滕縣。但是，童澄旅遠在百裏之外，遠水救不了近火，王銘章還擔心他們在途中遭到日軍攔截。他得知湯恩伯第二十軍團王仲廉第八十五軍於這天正午已到臨城，但該軍一定要等到湯恩伯的軍團司令部到達後才能北上，所以也不能指望這支援軍來救燃眉之急。於是，王銘章反過來向孫震請求援兵。
可是，孫震手裏也沒有預備隊。集團軍總司令部在臨城的唯一一支戰鬥部隊，是第四十一軍的劉止戎直屬特務營。劉止戎手下有三個步兵連和一個手槍連。孫震為了支援王銘章守住滕縣縣城，隻留一個手槍連擔任總司令部的警衛，命令劉止戎率領三個步兵連星夜乘火車開赴滕縣。
然而，這支援兵還未到達，滕縣縣城就危如累卵。下午5點半，王銘章直接打電話給第二七二團團長張宣武，命令道：“第一，師部決心固守滕縣城；第二，第二七二團除在高町和高廟的一個營仍在原地執行原任務外，另以一個營留置北沙河第二線陣地，暫歸第一二七師指揮，該團長即率領其餘部隊立即由現地出發，跑步開回滕縣布置城防。”
張宣武率部從北沙河撤走時，王銘章又命令他將北沙河上的鐵路橋炸毀。
張宣武率部到達滕縣北門時，王銘章十分焦急地在城門外等候。他向張宣武扼要介紹了各方麵的情況，命令張宣武著手布置城防。王銘章還說，劉止戎營已從臨城乘火車出發，再過一兩個小時也會到達。包括嚴翊營在內，所有這些部隊都由張宣武統一指揮，由張宣武擔任城防司令，統一部署守城事宜。
滕縣東關有一道土築圩寨，相當完整堅固，可以利用作為據點陣地。張宣武判斷，既然日軍是從東麵來，一定會先攻東關。他命令嚴翊營擔任東關守備任務，利用寨牆連夜構築防禦工事，並在東關附近各村莊派出警戒部隊。嚴翊營原有三個步兵連和一個機槍連，但機槍連因臨時撥歸團部直接指揮，還沒到滕縣，所以嚴翊把兩個步兵連配置在東關圩寨陣地上，另一個連用作營預備隊。當夜10點左右布置就緒，部隊徹夜構築工事。
張宣武的第七二七團下轄三個營，張宣武帶到縣城的隻有一個第三營，下轄四個步兵連，沒有重輕機關槍。不過，團部還有一個直屬迫擊炮連，有四門土造八二迫擊炮；還有一個通信排，擁有四部破舊電話機；另有一個擔架排，擁有二十副竹子擔架。
張宣武派出兩個連分別擔任城東和城北的城防，將一個連作為營預備隊，將另一個連作為團預備隊，歸團長直接掌握。
夜裏10點左右，劉止戎營從臨城開到了滕縣。他們一下火車，張宣武就命令他們直接開到城牆上布防。劉止戎營用兩個連分別擔任城南和城西兩麵的城防，用一個連作為營預備隊。
擔任城防的部隊，都徹夜構築工事；作為預備隊的部隊，則徹夜搬運彈藥和糧秣。這天夜裏，從臨城運來一火車糧食和彈藥，其中最多的是手榴彈，成為守城戰中最得力的武器。防守東關和城上的部隊，每個人屁股底下都有一箱手榴彈，數量是五十顆。
張宣武的團指揮所設在東門內路北的一家山貨鋪內。團部連夜與第七二七團第三營以及嚴翊營和劉止戎營之間架通了電話，同時也和師部與旅部架通了電話。王誌遠旅的旅部安紮在西門裏路南的鹽店內。王銘章師師部安紮在西關電燈廠內。稅梯青師和陳離師的兩個師部，一起安紮在城內北街張鏡湖的宅第內。
至15日夜，滕縣城關地區的部隊雖然番號很多，但實際戰鬥部隊僅有十個步兵連和一個迫擊炮連，共約兩千多人；此外還有師部和旅部的四個特務連約五百人，以及臨時來滕縣領運糧彈的稅梯青師曾甦元旅劉公台第七四三團的一個步兵連，滕縣縣長周同指揮的地方武裝約五百人。總計約三千多人。所有的預備隊，都控製在東門內。
15日傍晚，日軍瀨穀支隊進至滕縣附近，將部隊分為兩隊。其第十聯隊進攻滕縣，第六十三聯隊配屬一部炮兵及坦克，由辛莊和中頂山迂回到滕縣以南，企圖切斷滕縣中國軍隊的退路，並向臨城攻擊前進。
16日黎明，日軍一萬多人繼續向第四十五軍正麵界河陣地和龍山、普陽山陣地猛烈進攻。上午7點50分，滕縣東關外附近各村莊先後聽見機槍、步槍聲，馮河、龍陽店方麵的日軍已經開始向守備東關的中國警戒部隊進攻。
8點左右，大約一個大隊的日軍炮兵，以十二門山炮在東沙河附近高地放列試射之後，接著就以排子炮的密集火力向滕縣東關、城內和西關火車站猛烈轟擊。同時，十二架飛機飛到縣城上空，瘋狂地轟炸掃射。
日軍進犯界河陣地兩天來，城內外人心還算安定。此刻忽然炮彈、炸彈如狂風驟雨般從天而降，市民頓時慌亂起來，男女老幼紛紛出城向西逃去。半小時後，除了守軍之外，幾乎成了一座空城。
正在西關電燈廠師部指揮的王銘章，聽到槍炮聲後，打電話向張宣武詢問情況，隨後他就進城到了稅梯青師的師部，同陳離、稅梯青、王誌遠和張宣武會麵。他先向張宣武詢問了城防部署、工事構築和彈藥補充等情況，接著又問：“張團長！守城有沒有把握？”
張宣武問道：“守多久？”
王銘章答道：“兩三天。”
張宣武說：“城內現有兵力和敵情你都清楚，你看可以守多久？”
王銘章說：“守一天多有沒有把握？”
張宣武答道：“擔任城防的十個步兵連，有六個連都不是我所屬的建製部隊，嚴、劉兩營的戰鬥力如何，我無法估計，因而我不敢保證能守一天多。”
王銘章說：我們的援兵最快也得夜裏才能來到，如我們不能守一天以上，那就不如在城外機動作戰。”
王銘章說完，就問在場的幾位師長和旅長：“你們大家意見如何？”
幾位師長和旅長，加上幾位師參謀長，都同意在城外機動作戰。於是王銘章立即打電話向臨城的集團軍總司令孫震報告情況，並提出到城外機動作戰的意見。孫震回答說：“委員長來電要我們死守滕縣，等待湯恩伯軍團前來解圍。湯部的先頭部隊昨日已到臨城，其後續部隊亦正在陸續趕到，我當催促王仲廉軍趕緊北上，你應確保滕縣以待援軍。你的指揮部應立即移到城內，以便親自指揮守城事宜。如兵力不夠，可把城外所有的第四十一軍部隊通通調進城內，回守待援！”
這時候，王銘章才下了最後的決心，首先對張宣武說：“張團長！你立即傳諭昭告城內全體官兵：我們決定死守滕城，我和大家一道，城存與存，城亡與亡。立即把南、北兩城門屯閉堵死。東、西城門暫留交通道路，也隨時準備封閉。可在四門張貼布告，曉諭全體官兵，沒有本師長的手令，任何人不準出城，違者就地正法！”同時又命令他的師部副官長羅甲辛把師指揮所和師直屬各部隊全部搬進城內。
第四十五軍第一二七師師長陳離，由於他的部隊都在龍山和普陽山作戰，而計劃中也沒有調他的部隊進城固守，因此，陳離經請示孫震同意後，同他的指揮所一起出城去指揮他的部隊去了。他離城隻走了三四裏路，就遭到日軍裝甲車的襲擊，右腿負了重傷。
占領東沙河的日軍炮兵，16日上午8點開始攻擊，足足打了兩個小時，東關、城內和西關火車站共落炮彈三千多發。上午10點左右，日軍的炮兵忽然停止射擊，日軍飛機也同時飛走了。中國軍隊在東郊各村莊的警戒部隊，都已經撤到東關，因而槍聲也已經停止，一時空氣異常沉寂。
過了半小時，日軍炮火突然集中一點，向東關南半部寨牆的突出部猛烈轟擊，不到一刻鍾，那段寨牆被炸開了一二米寬的缺口。這時，日軍集中了幾十挺輕重機槍，對準缺口猛烈射擊，掩護步兵攻擊前進。
當日軍火炮猛轟寨牆時，寨上的守軍猝不及防，略有傷亡，隨即避開炮轟目標，伏伺缺口兩側，嚴陣以待。當日軍停止射擊時，伏伺在缺口兩側的中國守軍迅速堵住缺口。彌漫的煙塵剛一消失，日軍步兵五六十人迫近守軍陣地，跳進缺口外的寨壕溝內。守軍第七三一團第一連連長來到缺口指揮。他集中了六七十人的兵力，每人握四五顆手榴彈，當日軍全部下到寨牆時，連長一聲令下，二三百顆手榴彈同時投向敵群，使日軍遺屍五十來具，逃還者不到十人。
日軍發覺攻擊沒有成功，立即以更猛烈的火力向著那個缺口轟擊掃射。守軍仍然和上次一樣，避開目標，躲伺兩側。日軍第二次進攻仍然是步兵一個小隊，大約五六十人，都戴鋼盔，兩手端著上了刺刀的步槍，從寨壕內向缺口猛衝。守軍也和上次一樣，在日軍將要爬上缺口的一刹那，將幾百顆手榴彈像雨點一樣向日軍叢中投去，結果，日軍又丟下四十多具屍體，其餘逃走。
日軍第三次衝鋒，結果又死亡三四十人，以失敗告終。這時候，東關右翼的守軍第七三一團第一連已經傷亡近百人。營長嚴翊將該連殘部撤下來，派作為營預備隊的第三連接替守備任務。張宣武便將團預備隊第七二七團第十二連從東城門內調到東關，作為嚴翊營新的預備隊。
戰地沉寂了兩個來小時。守軍趁機調動了兵力，調整了部署，修補了被摧毀的陣地工事，並將東關和城內幾家鹽店、糧行內堆放的一兩千包食鹽和糧食，搬來填補被日軍炮火轟開的缺口，加強寨牆工事，並補充了彈藥。官兵擦了擦血汗，喝了點水，吃了點幹糧。張宣武在這時也親臨第一線巡視，對守備官兵加以慰問和鼓勵。
下午兩點左右，日軍再次進攻，目標轉向了東關的東北角，猛烈攻擊。守軍蹇國珍第七三一團第二連，在嚴翊的指揮下，也用和第一連同樣的打法，擊退了日軍。日軍連續五次攻城，每次都丟下三五十具屍首，敗退回去。
在戰鬥過程中，守軍傷亡也很大。王銘章和稅梯青兩位師長命令第一二四師曾甦元旅到縣城來領運糧彈的第七四三團吳讚誠第十一連聽從張宣武的指揮。王銘章又把師部的何經緯特務連除留一個排作為警衛外，都交給張宣武指揮。張宣武將吳讚誠連作為嚴翊營的預備隊，將何經緯連作為團預備隊。
下午5點左右，日軍又發動了第六次攻勢。日軍的炮火有所增加，機槍火力也比以前猛烈。飛機也增多了，每批約在十架以上。日軍轉移了攻擊目標，是從東關的正麵城門下手。還以一部分炮火向東關、城內和西關、火車站等處施以縱深射擊。日軍的步兵改用一次三個小隊，每小隊相距約百米，前後重疊，形成梯形攻擊法。最前麵的一個小隊，向東關門衝鋒時，仍被守軍的手榴彈消滅得所剩無幾。可是，日軍猛烈的火力，把東關門及其兩側附近的守軍也幾乎消滅殆盡。
嚴翊連忙將吳讚誠連填補上去，可是他們立足未穩，日軍的第二梯隊又衝擊上來，於是展開了一幕慘烈的肉搏戰。結果，日軍一個小隊全被消滅，而吳讚誠連也隻剩下一二十名士兵，全連官長和一百多名士兵都壯烈犧牲。
在這個危急的關頭，張宣武命令團預備隊何經緯連（欠一個排）從東城門內奔赴東關補充，受嚴翊指揮。但是，日軍的第三個梯隊已經衝上來，何經緯連來不及趕到。嚴翊連忙將守備東關南北兩頭的部隊都調到附近堵擊日軍，但仍有四十多名日軍突入關內。
這時，天已黃昏，日軍並沒有派出後續部隊，單靠這四十多名日軍，是無法擴大戰果的。於是，雙方相距幾十步形成對峙局麵。何經緯連到達東關後，嚴翊立即命令他們驅逐這股日軍，結果，何經緯連傷亡三分之二，而日軍還有二三十名未被消滅。
這時天已黑透，張宣武決定抽調守備城垣東、北兩麵的第七二七團第三營的預備隊張進如第十一連增援東關，歸嚴翊指揮，還親自對該連全體官兵做了簡單的講話，鼓勵他們的鬥誌。張宣武又對張進如說：“如果不能把這幾十個敵人消滅，你就不要回來見我！”
張進如連經過動員，士氣旺盛，銳不可擋，猛撲之下，一舉成功。雖然該連陣亡了兩個排長，死傷了七十多名戰士，但終於把這股日軍全部消滅幹淨了，東關城門也終於失而複得。守軍還有一個損失，那就是苦戰了一天的嚴翊，在最後的督戰中，大腿中彈負傷。
晚上8點以後，戰鬥停止，槍炮聲停息，雙方處於休憩狀態，隻是日軍的照明彈不時劃破夜空，把城關內外照得如同白晝。
16日這一天，滕縣東關、城內和西關火車站共落炮彈約一萬發。從東城門內張宣武的團部到東關嚴翊的營部，不到一裏路的一段電話線，就被炸斷二十五次之多。日軍的飛機從上午8點直到黃昏，不斷地在城關上空盤旋，最多的一批有十八架。其實日機的轟炸掃射給守軍造成的傷亡，並不比機槍大炮更多，但它給予守軍精神上的威脅，遠遠超過了機槍和大炮。
16日上午，在日軍進攻東關的同時，城北四十五裏當麵的日軍，對龍山和普陽山一帶的守軍陣地，更加大了進攻的力度。第四十五軍已經血戰三天，傷亡過半，他們與滕縣的交通和通訊全被截斷，指揮發生混亂，因此，在正午前後，第四十五軍正麵陣地，逐步被日軍突破。
石牆方麵的日軍，於16日早晨繼續向深井和池頭集的呂康旅與曾甦元旅猛烈進攻，經過一天的戰鬥，呂康旅與曾甦元旅逐次退守大塢、小塢一帶。接著，呂康旅的王麟團和曾甦元旅的熊順義營奉令調回縣城，兩旅協議，由曾甦元旅先行，呂康旅隨後。