兩天後，執行佯攻誘敵任務的池峰城師已經將日軍主力引到台兒莊附近西北地區。
對於台兒莊會戰的前景及其戰法，當時的國民政府軍事委員會副總參謀長白崇禧心裏並沒有底，他深知中共內部有高人，於是想聽聽周恩來的意見。他吩咐秘書盡快安排與周恩來見麵。
對當時的局勢，中共方麵也深感憂慮。眼下徐州吃緊，戰局在一步步惡化；徐州若失，武漢就很難保住。武漢素為兵家必爭之地，一旦失陷，整個華中腹地將門戶洞開。然而，在國民黨的高級將領中，蔣介石的嫡係部隊惟其指令是從，在抗擊日寇的同時，兩眼又死死地盯著身旁的共產黨人，做夢都想完成其“十年未竟之業”。另一部分地方部隊，諸如川軍、滇軍、粵軍、桂軍、東北軍、西北軍等等，抗戰以來雖已開赴戰場，有些確已表現了中國軍人所應有的愛國精神，打得英勇悲壯，為世人所讚歎，但不可否認，也有一些在與日軍交戰時，往往心存顧慮，擔心把手裏僅有的一點血本全輸光，失掉日後向蔣介石討價還價的“資本”。身為最高統帥的蔣介石，又擅長用鬼子的刀槍來剪除異己。這種存在於軍隊內部的猜忌、牽製、矛盾，極大地削弱了中國軍隊的戰鬥力，成為“七七”抗戰以來中國軍隊在多次大戰中一敗再敗的一個重要原因。李宗仁、白崇禧是國民黨高級將領中的主戰派，抗日的態度是堅決的，桂係在國民黨內又有一定地位，做好他們的工作，對鞏固和發展抗日統一戰線無疑是十分重要的。所以，接到白崇禧邀約後，中共決定派周恩來和葉劍英前往。
見白崇禧之前，周恩來已認真看過第五戰區司令長官部特意派人送來的有關徐州戰場的戰況材料，對這次大戰已作過一番思考，形成了自己的看法。白崇禧問周恩來對於即將到來的台兒莊之戰有何高見。周恩來分析指出：
“板垣和磯穀的企圖很明顯，是要從兩個方向夾擊第五戰區的大本營徐州。他們會師的目標是台兒莊，然後再策應津浦路南段的敵軍，共同向徐州合擊。臨沂一仗中國軍隊雖然獲勝，但不容樂觀，因為整個戰局沒有根本的轉變。板垣的銳氣是受挫了，但據我看，磯穀師團不會改變向台兒莊進攻的計劃。相反，也許正是板垣的受挫，磯穀才更樂於南犯呢！”
白崇禧經周恩來一點，立即明白了。他道：“你是指磯穀邀功心切、驕而寡謀，必然會孤軍輕進台兒莊，我們正好狠狠地打它一仗？”
“是的！”周恩來答道，“不過，台兒莊是一個位於矮坡上的小市鎮，沒有什麼險要可資扼守，所以，我們必須先有一支善於防禦的部隊守住台兒莊、運河一線。在把敵人的攻勢遏製住之後，再另出奇兵渡過運河，從嶧縣方麵向台兒莊迂回，使敵腹背挨打。這樣即使不能全殲敵人，也可使其遭受重創。所以我建議：在津浦鐵路南段，由李品仙、廖磊兩個集團軍，采取以運動戰為主、遊擊戰為輔的聯合行動，運動於遼闊的淮河流域，使津浦路南段的日軍時時受到威脅，不敢貿然北上支援南下日軍；而在徐州以北，以主力采取陣地戰與運動戰相結合的方針，守點打援，以達到各個擊破的目的。”
白崇禧對周恩來的建議極為讚賞。
周恩來最後補充道：“我準備命令新四軍張雲逸的第四支隊，協同貴部李品仙、廖磊兩集團軍采取聯合行動，運動於遼闊的兩淮流域，使津浦線南段日軍時刻受到威脅，不敢貿然北上支援南下日軍。”
白崇禧深為感動，他知道周恩來作為中共中央軍委副主席，他的命令葉挺軍長是必須執行的。有新四軍的協助，津浦線以南的威脅可以避免了。他也為周恩來的才幹所折服，暗歎：“周公果然是將將之才、治軍之才、謀略之才也，名不虛傳!”
針對當時的態勢和日軍的企圖，李宗仁深知這時能否順利完成魯南防守作戰計劃，能否挫敗瀨穀支隊的淩厲攻勢，有三個關鍵問題必須解決：第一，張自忠、龐炳勳兩軍能否守住臨沂一線，擋住阪本支隊的南下；第二，中國軍隊能否在台兒莊、運河一線阻止日軍的攻勢；第三，中國軍隊側翼部隊能否以有力的攻勢牽製並不失時機地殲擊日軍。其中第二個問題又是關鍵的關鍵。因為如果日軍攻下台兒莊、運河防線，近迫徐州，則中國軍隊在臨沂一線防守的張自忠、龐炳勳兩軍以及準備側擊日軍而進入嶧縣以東地帶的湯恩伯軍團，都將處於日軍的兩麵夾擊之中，中國軍隊整個魯南防守作戰計劃就將破產。
3月24日，蔣介石來到了徐州。在第五戰區司令部，李宗仁給蔣介石、白崇禧率領的參謀團彙報戰況：
“目前，雖然臨沂一戰，津浦北段敵軍左臂已被我張自忠部砍斷，但是，敵軍沿著津浦線而下的磯穀師團，仍在迅速向南推進。湯恩伯將軍在津浦線上與敵人作了一陣抵抗之後，即陸續讓開正麵，退入抱犢崮東南的山區。湯部重炮營則調回台兒莊運河南岸，歸長官部指揮。磯穀師團舍棄湯恩伯部而不顧，盡其所有，循津浦路臨棗支線而下，直撲台兒莊。敵軍總數約有四萬，擁有大小坦克車七八十輛，山野炮和重炮共百餘尊，更有大批飛機助威，徐州城和鐵路沿線橋梁、車站已被日軍炸得一片稀爛……”
蔣介石說：“敵人拚命想打通津浦路，溝通南北戰場，窒息隴海路，威脅我平漢路側方，是為了攻占徐州，準備進攻我武漢心髒地區。因此，現在全國戰場的中心已經轉到了徐州。綜合觀察整個戰局情況，徐州已成為我方戰略之凸角，我們理應掌握戰機，勢在必守，以策萬全。我決心再抽調一部分兵力投入徐州戰場，擴大戰果，並控製黃傑、桂永清、俞濟時、宋希濂等精銳部隊於豫東歸德、蘭封一帶，鞏固第五戰區的後方，予敵更大的消耗；爭取較久的時間，以便進行武漢守衛的準備工作，而利全局。第五戰區雖然久戰疲憊，難以久持，但韓複榘伏法後人心大快，士氣旺盛，有李司令長官的指揮，有後方的大力支持，也不難克服種種困難。我走後，參謀團留在徐州協助李司令長官作戰。我想有李司令長官指揮，又有白副總長協助，台兒莊和徐州之戰，一定能予敵重創，取得勝利。我在武漢等候你們的捷報！”
第二天，蔣介石留下白崇禧和林蔚，自己回武漢去了。
蔣介石一走，李宗仁立即把白崇禧獨自迎進了自己的辦公室，研究作戰方案。白崇禧指出：“在統帥部研究的結果，主要是認定了劉斐的作戰方案，即以運動戰為主的方案，但我心裏沒底，於是這次我離開武漢前，特地請了中共的周恩來和葉劍英，當麵請教過。”
“他倆對徐州會戰有何高見?” 李宗仁急切地問。現在是國共合作時期，他很想了解中共對徐州會戰的看法。
“周恩來建議：在津浦線南段，應采取以運動戰為主，以遊擊戰為輔。在徐州以北可采取陣地戰與運動戰相結合的方針，守點打援，以達到各個擊破的目的。”
“周恩來有眼光！”李宗仁毫不掩飾地表示讚同，指出：“津浦線南段的作戰，正如周恩來所言，我三十一軍在明光與敵人血戰逾月，我即令李鶴齡向西撤，敵人以獅子搏兔之力猛撲明光，結果撲了個空，沒有捉住中國軍隊主力。後來，哪知中國軍隊卻在敵側突然出現，將敵人的後路切成了幾段，使敵不能北進。徐州以北的滕縣和臨沂之戰，則以陣地戰和運動戰相結合，都打得不錯。”
白崇禧進一步道：“滕縣已失，磯穀師團必然驕狂無比，我估計敵人很可能不等待臨沂受挫的板垣師團會師，也不等津浦路南段的日軍北上呼應，便孤軍直撲台兒莊，以圖一舉而攻下徐州，奪取打通津浦線的首功。”
李宗仁連連點頭。“對這一點，我已估計到了，依你之見，是否嚴令湯恩伯部進行阻擊?”
“我看，與其阻擊，還不如放進來打。”白崇禧說。
“你是說，要湯恩伯軍團在津浦線上不阻止敵人前進，統統讓開正麵，使磯穀師團孤軍深入台兒莊，然後再集中優勢兵力將其圍殲?”李宗仁問道。
“正是此意。”白崇禧繼續說道：“守衛台兒莊的孫連仲部，原是馮玉祥西北軍舊部，該軍最善於防守。再說，台兒莊雖是彈丸之地，可在山東，也是個大鎮，有上千個鋪戶，築石為城，城中有碉堡七十五座，並且每戶人家的房屋大多是用巨大石塊壘砌起來的，也可以說一千多戶人家就是一千多個碉堡，我們並不難守。如果孫連仲部能在台兒莊與磯穀師團反複纏鬥，消耗了敵人有生力量，那麼，我們把握時機，使湯軍團猛撲敵後，斷其後路，使敵人進退不得，然後集中優勢兵力，就可以將其包圍而殲滅。”
李宗仁說：“我也早已判斷敵人攻下南京、濟南、泰安、滕縣後必然驕狂，一定不等蚌埠方麵的援軍北進呼應，便直撲台兒莊，以期一舉攻下徐州，奪個打通津浦線的頭功。利用敵軍的這種驕狂心理，為了誘敵深入，我已命令湯軍團在津浦線上隻作間斷的、微弱的抗擊，然後讓開正麵。待孫連仲部在台兒莊發揮防禦至最大效能時，我再命湯恩伯潛行南下，拊敵後背，包圍敵軍，緊接著，準備在台兒莊附近給敵軍以殲滅性打擊。”
“看來你早已給敵人設下圈套，請君入甕啦!”白崇禧見李宗仁的看法與他的想法處處吻合，顯得非常興奮。
李宗仁謙遜地說道：“沒有你畫龍點睛的那一筆，我們的作戰方案就不會那麼完整。你一來，再加周恩來一點撥，更堅定了我‘守點打援’的信心。我馬上再一次命令孫連仲，盡一切可能搶修堅固工事，死守台兒莊。”
會戰台兒莊的大膽而周密的作戰計劃就這樣定下了。具體方案為：
利用日軍磯穀師團乘戰勝餘威的驕狂心理和急於打通津浦線的心情，采取“固守台兒莊及運河一線，誘敵來犯，斷敵後路，乘機實施反包圍，聚殲日軍”的作戰方針。先令孫連仲集團軍的黃樵鬆第二十七師和張金照第三十師，布防於運河一線及台兒莊以西；以池峰城第三十一師主力固守台兒莊，以一部於台兒莊東西兩側支援核心陣地作戰；將湯恩伯軍團部署於向城、洪山鎮一線，阻擊北麵的日軍，並相機讓開津浦路正麵，誘敵深入，待日軍主力進到台兒莊時，即南下襲敵側背，將日軍包圍而殲滅之。
李宗仁依靠的兩支部隊，一支裝備優良而不聽話，另一支竭力效命卻裝備很差。
由前所述，在第五戰區台兒莊會戰的作戰方針是陣地戰與運動戰相結合，因此，實現預定作戰方案有兩支決定性力量：一是擔負機動殲敵任務的湯恩伯軍團；二是擔負守備任務的孫連仲集團軍。而這兩支部隊並非李宗仁原來的桂係，都是在徐州會戰開始後，分別從程潛的第一戰區和閻錫山的第二戰區臨時轉隸而來的部隊。因此，對於戰區最高司令的李宗仁，當務之急是要理順關係、凝聚人心。
最令李宗仁頭痛的是湯恩伯及其第二十軍團。在滕縣保守戰中，由於孫震集團軍守備任務艱巨、兵力不足，早在日軍開始進攻時，李宗仁曾致電蔣介石，請派軍事委員會直接控製於豫東的湯恩伯第二十軍團王仲廉第八十五軍的第四師增援津浦路。蔣介石基於徐州會戰的特殊地位，也深知第五戰區實力太弱（當時全為雜牌軍），同意將第二十軍團投入第五戰區管轄的魯南戰場。湯恩伯軍團名義上雖屬第五戰區管轄，實際上對李宗仁的指令常打折扣，惟蔣介石的命令是從。
湯恩伯之所以如此狂傲，主要因為第二十軍團是蔣介石的嫡係部隊。湯恩伯軍團是六個月之前才組建的一個新軍團，直接受國民政府軍事委員會統轄。其中，關麟征軍和王仲廉軍的軍師級幹部，大部分是黃埔軍校學生，蔣介石視他們為“得意弟子”，因此，對這支部隊予以重點裝備。配以一定數量的野炮、重炮、坦克，槍械齊全，成為當時國民黨軍隊的精華。
3月14日，正當日軍磯穀師團沿津浦路快速南下，滕縣處於危急之時，李宗仁曾電令湯恩伯：
敵於津浦北正麵增加兵力，大舉反攻，以牽製我魯南之作戰。鄧部兵少械劣，正麵薄弱，兩翼空虛，恐難拒敵。已電呈委座，調貴軍團八十五軍駐商丘之一整師，由火車輸送至滕縣附近，作二十二集團軍之總預備隊，望即出動為荷!
湯恩伯接到李宗仁的電令後，很不高興，稱李宗仁是瞎指揮。他抱怨李宗仁：“今天這兒抽我一個師，明天那兒挖我一個師，這麼三抽兩挖，叫我這個軍團長怎麼當？再說，我的部隊正在河南商丘、安徽亳州一帶整訓，大兵團在隴海和津浦兩條交叉的單軌鐵道上輸送必須兩度換車，我又怎麼可能在短短的一夜之間把兵力集中到滕縣？”
於是，湯恩伯遲遲沒有發兵，這也就是第二十二集團軍滕縣血戰時遲遲盼不到援軍的重要原因。
但湯恩伯知道李宗仁在電令自己的同時也請示了蔣介石，如果不予執行，擔心蔣介石怪罪。於是仍不理會李宗仁，先給蔣委員長發一份電報，電文寫道：
蔣委員長。懇以本軍團全部調津浦北段出擊，避免分割使用，以益戰局，而杜分散或作無代價之消耗。
謹呈。湯恩伯。
當晚湯恩伯收到了蔣介石的電話指令：
“為了策應津浦北段的正麵作戰，我同意二十軍團全部調第五戰區指揮，準備在臨城與敵人決戰。所屬的第八十五軍，今晚立即從商丘乘車，經徐州向臨城輸送，務必於17日拂曉前到達臨城集結完畢。第五十二軍，即開商丘集結待命，該軍團長先到徐州指揮。”
就這樣，湯恩伯部加入了第五戰區的徐州會戰。但是，由於之前湯恩伯軍團未能及時增援滕縣，戰況突變，磯穀的一個旅團，已突破中國軍隊第二十二集團軍王銘章師在滕縣外圍的各陣地，以機械化部隊，沿南沙河一帶，猛向官橋、臨城一帶迂回。此時，湯恩伯軍團的關麟征第五十二軍還遠在徐州、歸德一帶，無法立即趕到臨城參戰。這麼一來，蔣介石、李宗仁希望湯恩伯在臨城與日軍決戰的企圖，隨著情況的變化而無法實現了。加之，當時第五戰區司令李宗仁並無預備兵團在手，所以隻得命令湯恩伯將關麟征軍輸送到韓莊就下車集結，其意在於加大逐次抵抗的縱深，而在運河北岸鞏固一個大橋頭堡，來保障徐州的安全。湯恩伯從自身利益出發，並考慮到所擔負的機動作戰任務，把主力移置於東集、西集、鳳凰莊一帶，做好對日軍側擊的準備，以防戰局的惡化。
其實，李宗仁對湯恩伯的擔心不無道理。當時，第五戰區的作戰計劃，著眼於在臨城與韓莊運河間聚殲日軍，所依仗的主力是湯恩伯軍團，與後來所進行的台兒莊戰役有些出入。其中主要原因固然與當時對日軍實力估計不足有關，而湯恩伯沒有很好執行命令，采取一定的避戰態度則是重要原因。幸虧李宗仁下狠心曉以利害，逼迫湯恩伯執行命令，而在關鍵時刻，蔣介石也從全局出發，督促湯恩伯作戰，否則後果不堪設想。
在上述計劃中，擔任台兒莊、運河一線阻擊任務的部隊，也是一支重要的力量。事後證明，這支部隊實際上成為整個台兒莊會戰的主角，對於會戰的勝利起到了決定性作用，因此而立下了頭功。那麼，派哪一支部隊來擔負這一重任呢？李宗仁與參謀人員反複權衡，決心啟用第二集團軍孫連仲部。
第二集團軍總司令孫連仲，字仿魯，河北雄縣人，1893年生，保定中學畢業後投筆從戎。成為馮玉祥的部下後，因為頭腦機靈，作戰勇敢，受到了馮玉祥的賞識，之後不斷升遷，和韓複榘一樣，成為馮玉祥的虎將“十三太保”之一。1930年蔣介石、馮玉祥、閻錫山大戰後，馮玉祥集團瓦解，孫連仲部被蔣介石改編為第二十六路軍，孫連仲任總指揮。抗日戰爭爆發後，第二十六路軍又改建為第二集團軍，孫連仲先後任副總司令、總司令。
孫連仲部以最善於防守而著稱。在北洋軍閥統治時期，有名的幾次防禦戰如南田之戰、西安守城之戰，都是他們打的。在太原會戰的娘子關保衛戰中，孫連仲負責扼守娘子關正麵陣地，日軍在飛機大炮的掩護下，向娘子關猛攻，不能越雷池一步。
不過，孫連仲集團軍仍然是國民黨軍隊中的一支“雜牌部隊”，武器裝備極差，重兵器很少，槍械混雜，有的士兵甚至僅有一把鋼製的大刀作為武器。
滕縣戰役結束時，孫連仲集團軍奉命在徐州北部的台兒莊陣地進行布防。李宗仁要求孫連仲部在台兒莊附近布下袋形的防禦陣地，以吸引日軍采取攻勢，然後下令裝備與火力較佳的湯恩伯第二十軍團，在外圍進行運動戰，當日軍的攻勢在台兒莊受到阻擋之後，立即設法由外線進行包圍，攻擊日軍的背側，以內外夾攻的方式圍殲日軍。
當時，孫連仲聽說蔣介石正在通過德國駐中國大使陶德曼和日本進行談判，因而認為日軍是故作進攻姿態，對蔣介石施加壓力，答應他們的投降條件，不一定會發生真正的戰鬥。他命令何章海帶領幾個參謀及少數其他人員，到徐州以北地區選定前線指揮所，同時命令池峰城率領第三十一師先行開駐台兒莊及其附近地區，構築工事，掩護其他部隊繼續集中。
何章海與少數參謀及一個連的衛隊到達徐州車站時，從前來迎接他的當地商會會長等人的談話中，了解到李宗仁已去前線，現在中國軍隊正與日軍在臨沂、滕縣一線作戰，中國軍隊先勝後敗，前線非常吃緊。據說，日軍已有兩個聯隊突破守軍防線，正向南進，徐州人心惶惶，稍有資產的人家都已經逃到了漢口。
何章海到達前方以後，在偵察地形時，發現日軍居高臨下，而中國軍隊則是背水作戰，十分不利。他根據敵我所處地形的利弊，詳細加以分析，繪製了一個簡單的地形判斷圖，並根據對敵情的判斷作了兵力部署，命令池峰城師派一個加強團的兵力，確保台兒莊城寨，其餘沿大運河南岸構築永久工事。
接著，何章海打電話給孫連仲，催他率領部隊迅速前進，乘日軍先頭部隊立腳未穩，予以迎頭痛擊，以壯聲勢而鼓舞士氣，並可占據重要地區，有利於今後的作戰。但是，後續部隊行程遲緩，等到孫連仲到達前方時，日軍已先發製人，揭開了戰鬥序幕，中國軍隊的形勢陷於被動。