湯恩伯曾向孫連仲許諾，一旦日軍進攻台兒莊，他就會立刻支援台兒莊的守軍，但是，當孫連仲急電請援時，湯恩伯沒有采取行動。據戰後寫成的《戰鬥詳報》，他的理由是：“本軍團既已置於犯台敵之側背，當然有選定時機及地域的自由，以判斷敵主力之行動為根據，而予以徹底之打擊。”他完全忘記了自己僅僅是全局中的一個局部。
李宗仁見湯恩伯始終按兵不動，不得不於3月28日夜電令湯恩伯軍團放棄攻擊嶧縣和棗莊計劃，迅即南下，先殲滅台兒莊的日軍。據說又由白崇禧敦請蔣介石親自下令，湯恩伯才調整部署，準備對台兒莊的日軍發起攻擊。3月29日，他的兩個軍分別在青山附近集結完畢。關麟征軍先開到獐山以東地區，3月31日下午，湯恩伯才率領王仲廉軍到達台兒莊東北的河南頭。經與關麟征研究後，他才決定讓王仲廉軍從4月1日起在關麟征軍左翼展開，向台兒莊的日軍攻擊前進。
此後，雖然孫連仲集團軍的各師在苦戰中堅守了陣地，但最好的戰機已經失去，日軍阪本支隊已從臨沂推進到向城。湯恩伯認為，“台兒莊與向城之間，隻是魯南山麓以外的小起伏地，並無險阻可以爭取時間”，為了不做日軍炮火下的“大群肉彈”和“保持行動的自由，掌握主動”，又“采取了斷然處置”，把全軍團“一律由內線轉為外線”，讓阪本支隊與瀨穀支隊會師於台兒莊以東地區。以後，湯恩伯軍團各師確實向日軍進行了英勇、堅強的進攻，不過這時已發展為孫連仲集團軍與日軍第十師團瀨穀支隊的戰鬥，這與原來的攻勢防禦計劃有所不同，日軍的兵力增加了一倍，於是僅能擊潰日軍，而不能包圍殲滅日軍。當日軍按自己的退卻計劃撤逃到嶧縣和棗莊地區，既靠攏了主力，又占領了有利地形，依托工事改為守勢作戰時，再責備傷亡極大的追擊部隊作戰不力、未能消滅敗退殘敵，就未免有苛求之嫌了。
有的評論者認為，國民政府軍隊派係複雜，造成了各部隊常常協同不好，這有一定的道理。但從軍事角度看，高級將領在作戰指導上缺乏全局觀念，當為重要因素。事實上，在同為中央嫡係的部隊中，也往往發生類似事情。如豫東戰鬥時，正當日軍土肥原第十四師團陷入中國第一戰區主力部隊包圍之中、瀕於被殲的關鍵時刻，負責阻擊日軍中島第十六師團西進的第八軍軍長黃傑，無視戰區長官令其死守歸德的命令，擅自率主力撤退，以至於中國軍隊功虧一簣，不僅未能殲滅土肥原師團，反而形成全線大撤退。
另外，在臨沂戰役中，也有缺乏全局觀念導致喪失戰機的情況。日軍猛攻臨沂，第五戰區速調第一三三旅及第十三軍騎兵團馳援，但此時日軍阪本支隊已停止進攻，奉命率主力增援台兒莊。作為第五戰區的長官代表，坐鎮臨沂的參謀長徐祖詒，也和張自忠、龐炳勳一樣，局限於考慮臨沂一地的情況，對日軍主力並未戰敗而突然脫離戰場的情況，既不進行分析判斷，也不進行偵察搜索，竟以不被攻擊為滿足。
徐祖詒致電李宗仁：臨沂之敵自昨晚攻擊受挫，確已向沂河東岸湯頭鎮退卻，現以新到之王旅及湯部騎兵相機追擊，與敵保持接觸。直到4月1日阪本支隊主力出現在向城與湯恩伯軍團作戰時，張自忠軍的《戰鬥詳報》還說：“敵之交戰部隊係板垣第五師團之大場四十二聯隊及鈴木第六聯隊……兵力約七八千人。”“軍之任務為確保臨沂……對敵攻擊，勝利殊無把握。”決心占領陣地防守，仍未覺察日軍主力去向。蔣介石致電批評張自忠：“臨沂之敵得自由轉用於向城、蘭陵鎮方麵，實該軍之恥。”徐祖詒總結說：“軍以下各部隊長均未能明了自身戰鬥間的責任，成機械式之行動，惟上級之命是從，故致誤戰機。”話說得都很有道理，不過包括他們自己在內，在作戰指導上都缺乏全局和發展的觀念。
除了上麵所說的弊端，中國軍隊的高級指揮官還犯了一個錯誤，就是在勝利麵前頭腦發熱，導致會戰後期數十萬大軍倉促突圍，幾乎遭到滅頂之災。
台兒莊戰鬥勝利後，中國統帥部對勝利缺乏深入細致的分析和總結，忽略了中日兩軍總的實力對比，更未對戰局發展的可能前途進行合理的預測，因而或多或少地誇大了台兒莊勝利的作用。軍委會積極向第五戰區增兵，大批軍隊源源不斷地調到徐州附近，企圖“集中所有力量”，乘勢進行一場“確定勝利基礎的戰略性戰役決戰”。這種作戰指導不符合實際，更違背了持久消耗戰的原則。而且不斷將兵力投入第一線，不斷向東延伸右翼，形成西起微山湖、東至郯城南，綿亙三百多裏的防禦正麵，又未控製強大有力的機動兵力及預備隊，並發展為實際上的專守防禦，違背了攻勢防禦的原則。當日軍從南北分七路向徐州作向心運動並切斷了隴海路時，中國軍隊發覺已被包圍，形勢危急，軍委會被迫部署數十萬大軍倉促突圍，實施戰略轉移。好在醒悟得較早，要不是及時跳出日軍的包圍，否則後果不堪設想。
這個教訓提醒人們要客觀冷靜地看待勝利，切忌被勝利衝昏了頭腦。台兒莊大捷後，部分人高興得過了頭，由樂觀振奮而走向驕躁輕敵，似乎最後的勝利指日可待，“速勝論”也隨之抬頭。這種錯誤情緒的消極影響，在隨之而來的徐州會戰中暴露無遺。這從反麵告訴人們一個簡單的道理：欲速則不達，要戰勝強大的日本帝國主義，隻能打持久戰，除此以外別無他途。
徐州會戰是繼淞滬、太原會戰之後中國正麵戰場的又一次大會戰。中日雙方都投入幾十萬兵力，曆時四個多月。日軍雖打通了津浦鐵路線，擴大了占領區，但妄圖打擊中國軍隊主力的目標未能實現。中國軍隊的防禦作戰和主動轉移，達到了一定的戰役目的，為部署後來的武漢保衛戰贏得了四到五個月時間，打破了日軍速戰速決的戰略計劃。
蔣介石“以水代兵”阻敵前進，給廣大民眾帶來巨大的災難。
中國軍隊從徐州突圍時，日軍趁機占領了徐州及其附近地區。接著，日軍繼續追擊，土肥原第十四師團於5月17日到達內黃集。中國第一戰區薛嶽兵團為掩護第五戰區部隊突圍，在蘭封地區發起反擊，於24日包圍了土肥原師團。薛嶽打算將這個師團吃掉，再創可與台兒莊大捷比美的勝仗，可惜蔣介石的嫡係桂永清棄守蘭封，讓土肥原突出了包圍。薛嶽兵團激戰到月底，開始退卻。21日，日軍中島第十六師團到達歸德。6月5日，磯穀第十師團抵達太康，向鄭州推進。土肥原師團先後攻陷開封和中牟。日軍騎兵聯隊相繼炸毀了新鄭南郊的鐵軌和鐵路橋，切斷了平漢鐵路。鄭州告急。
5月的最後一天，在武漢的委員長辦公室裏，蔣介石佇立軍用地圖前，反背雙手，凝思一陣，用紅藍鉛筆勾劃起來。
侍從室主任林蔚遞上前線急電，蔣介石接過一看，皺起眉頭。電報是第一戰區前敵總指揮薛嶽發來的，大意是：魯西南下之敵正向歸德挺進，意圖與華中派遣軍會合。
“敵之企圖，不僅在支援土肥原兵團，更在進犯平漢路許昌、鄭州一帶。”蔣介石自言自語，在青磚地上踱步，思考對策。
林蔚拔出自來水筆，翻開本子，準備記錄指令。
蔣介石走到地圖前，沉思片刻，轉過身，看著林蔚說：“告訴程潛，即刻停止對土肥原部攻擊，除留一部守備開封一線阻敵西進外，主力迅速轉移豫西山地。”
蔣介石的電報發到了鄭州。程潛接到命令，馬上部署西撤計劃，要求商震第二十集團軍的第三十二軍作掩護，主力部隊連夜撤退。
電話鈴響，參謀長晏勳甫拎起話筒，傳來林蔚的聲音：“阻敵西進之部隊，必須確保鄭州至許昌一線，以為大武漢之屏障，委員長要戰區長官部日內拿出具體計劃，報軍事委員會審批。”