1937年12月，譚善和渡過黃河趕到山西洪洞縣馬牧村的特務團駐地，立即投入到招收新兵、組建連隊的工作中去。1938年1月底，八路軍總部由朱德總司令、左權副參謀長率領東進，特務團1營的1連和2連隨行護送。譚善和隨團部進駐山西臨汾。
2月中旬，八路軍總部在山西安澤縣的古縣鎮一帶與3000名日軍遭遇。這股日軍係108師團所屬104旅團，由旅團長苫米地寺樓率領奔襲臨汾。為了爭取時間掩護群眾和友軍轉移，並及時轉運存放在臨汾的軍需品，朱德、左權決定阻擊這股日軍，遲滯其行動。2月25日，朱德、左權親自指揮特務團1營的兩個連隊與日軍接火。日軍不知虛實，一時不敢放膽前進，戰鬥呈膠著狀態。
在戰鬥打響的同時，總部急電駐臨汾的特務團馬上趕來增援。這時，特務團的團長調學不在位，政委帶3營留在延安執行任務，團總支遂決定，由譚善和代理政治處主任，與參謀長尹先炳一同帶領2營和1營3連連夜赴安澤馳援。經過60公裏的急行軍，部隊於26日趕到古縣鎮，顧不得休息即按照左權的部署投入伏擊日軍的戰鬥。
2營是剛剛組建起來的部隊，除班長排長外，大多數新戰士沒有槍，每人隻有兩枚手榴彈。雖然武器差、缺乏戰鬥經驗，但士氣卻很高漲。當沿臨（汾）屯（留）公路西進的日軍輜重部隊鑽入伏擊圈後，譚善和與尹先炳指揮埋伏在公路兩側的400多名戰士一齊投出手榴彈，當即炸毀80多輛汽車，炸死炸傷200多名日軍。譚善和帶領戰士們衝到公路上，繳獲了大批槍枝彈藥和軍用物資。等到氣急敗壞的日軍後續部隊趕到時，譚善和、尹先炳已率2營和1營3連迅速撤離了戰場。此戰不僅教訓了驕橫的日軍，還使原來徒手的新戰士們都有了槍，頗得朱總司令的好評。朱總司令表揚說：“這樣的便宜仗以後要多打。”
特務團護送八路軍總部到達沁縣不久，日軍即糾集三萬兵力開始對晉東南根據地“九路圍攻”。譚善和奉命與特務團留在沁縣，在決死1縱隊配合下襲擾進犯沁縣的一路日軍。經過九晝夜激戰，日軍支持不住南撤，特務團一直追擊到屯留。
1938年4月，譚善和調任八路軍野戰政治部保衛部一科科長，工作範圍除保衛總部首長、機關的安全外，還有鋤奸、反諜等。1940年8月，八路軍總部組織巡視團前往冀南、冀魯豫根據地巡視、檢查工作。譚善和主動要求參加，任保衛組長，以後又兼任巡視團黨總支書記。初到華北平原，他患瘧疾大病一場，仍帶病堅持工作兩個多月，沒有休息一天。在巡視團團長周桓領導下，譚善和幫助冀魯豫行署建立、健全了公安局的組織和製度，還參與了糾正湖西地區“肅托”的錯誤傾向等工作。1941年12月，上級決定譚善和留在冀魯豫軍區，擔任政治部保衛部部長。時值冀魯豫最困難的時期，在日偽軍殘酷“掃蕩”和國民黨頑固派軍隊的夾擊下，根據地大部成為遊擊區。許多會門、土匪武裝乘機與日、偽、頑軍勾結，危害抗日政權和群眾。譚善和任職後對會門土匪武裝做了耐心細致的工作，將其中大多數爭取了過來，有些編入了八路軍的地方部隊，有些幫助根據地從敵占區購買彈藥、物資和製造軍火的原料。
在緊張、繁忙的工作之餘，譚善和為冀魯豫軍區的報紙《戰友報》撰寫了不少稿件，如《談在接敵區、敵占區的反特務鬥爭》等。他重視報紙的作用、利用報紙推動工作的習慣，正是從這時開始形成的。後來，無論他在軍事工作還是政治工作的崗位上，都關注、支持報紙工作，願意為報紙撰寫文章。1943年冀魯豫形勢好轉，根據地進入恢複發展階段。6月，譚善和與根據地政府機關女幹部邵言屏結婚。一年後，譚善和調往設在河南林縣的平原黨校參加整風。
1945年5月，譚善和被任命為冀魯豫軍區後勤部政委。由於部長兼任軍區副參謀長，譚善和擔負了後勤部的主要領導工作。這時冀魯豫根據地的麵積已擴展到50多個縣、將近10萬平方公裏，軍區正規部隊發展到將近10萬人，正在對日偽軍展開春夏季攻勢作戰。針對這些新情況，譚善和首先將後勤部下屬的衛生部、軍工部、供給部的機構建立起來，而後以“增加生產、提高質量、降低成本”為目標，大力加強軍區兵工廠的工作，除原有的一個手榴彈廠和一個軍械修理廠外，又新建了兩個炮彈廠。這兩個炮彈廠分別製造“九二”、“七五”兩種型號的炮彈，手榴彈廠的技術狀況也得到了改進，每月可製造手榴彈4萬枚，還兼造地雷和子彈。這些彈藥不僅供給冀魯豫本軍區的部隊使用，還支援給晉冀魯豫軍區下屬的冀南、太行等兄弟軍區部隊。在抗日戰爭的戰略反攻階段，在解放戰爭初期的平漢（邯鄲）、隴海、張鳳集等戰役、戰鬥中，冀魯豫軍區製造的彈藥都發揮了重要作用。
抗日戰爭勝利後，國民黨孫連仲部按照蔣介石的命令，從新鄉沿平漢路北犯，企圖占領邯鄲，打通平漢鐵路，為控製整個華北創造條件。晉冀魯豫軍區部隊堅決反擊，發起了平漢戰役。譚善和參加了這次戰役，負責組織冀魯豫的彈藥、物資、糧食，運送給作戰部隊。
平漢戰役獲得殲敵兩萬多人的勝利後，譚善和受命兼任晉冀魯豫軍區和冀魯豫行署駐山東辦事處主任，奔波於魯西北的臨邑、惠民，魯東南的日照等地，一方麵轉運華東新四軍和山東軍區支援晉冀魯豫軍區的炮彈，一方麵接收經周恩來爭取由山東救濟分會分給晉冀魯豫解放區的外國救濟物資。在國民黨反動派公然挑起全麵內戰的情況下，他想方設法克服種種困難，將炮彈運送到晉冀魯豫軍區野戰部隊手中，將救濟物資運交地方政府。最後一批物資運走後，救濟分會又分來一台摩托車。他本不會駕駛摩托車，但又舍不得不要，就找會開摩托車的人請教駕駛要領，試著騎上了路。結果這台摩托車硬是被他奇跡般地從山東日照騎回了河南舊範縣，交給了冀魯豫邊區政府。
1947年初，冀魯豫軍區首長任命譚善和為11縱隊旅政委。還未到職，又接到劉伯承司令員、鄧小平政委的命令，調他到晉冀魯豫野戰軍司令部任軍械處長。雖一心想去作戰部隊，但譚善和還是服從了組織決定，到野戰軍司令部報了到。劉伯承、鄧小平親自找他談話，告訴他野戰軍主力馬上要打入敵占區，挺進大別山，必須在10天之內將軍械處組建起來。李達參謀長要求他重點抓好兵工廠的遷移工作，保障大部隊流動作戰的需要，同時要求他在出發之前組建一個野戰軍留守處，組織大批幹部南下，籌集供野戰軍司令部在大別山區使用的銀行……譚善和夜以繼日地拚命工作，如期完成了各項任務，帶領新組建的軍械處人員及8000人的南下幹部支隊，攜大批銀元、彈藥趕到了大別山。
在大別山區，他遵照李達的命令到新縣兼任後方指揮長，統一指揮後方機關人員和警衛部隊與進犯的敵軍周旋。敵軍退後，鄧小平找他談話，當麵交給他新的任務：“商城這個縣很重要，至今地主武裝和土匪結合，裹脅群眾上山，到處打槍開炮，使我們的工作無法開展，特別是青區一帶的地主武裝，其頭子顧敬之，無惡不作，控製群眾很厲害，現在派你去當縣委書記，盡快打開局麵。”譚善和帶領2縱隊5旅的一個團到商城上任，首先做宣傳工作爭取群眾，群眾發動起來以後紛紛主動協助部隊剿匪反霸，很快肅清了反動民團和土匪武裝。一個多月後，鄧小平、李達來到商城，對縣委的工作表示滿意，特別表揚了譚善和深入細致發動群眾的作法。
1948年2月，譚善和調任鄂豫軍區獨立旅副政委，參與指揮了在商城與湖北黃安交界地區進行的阻擊國民黨桂係第7軍的戰鬥。獨立旅原計劃先期渡過長江，以劉鄧野戰軍16縱隊名義到九龍山一帶開辟遊擊區。後因敵人對長江封鎖甚嚴，找不到渡江機會而放棄原計劃。譚善和旋即被任命為鄂豫區三地委書記兼鄂豫軍區第3軍分區政委。他率軍分區武裝與敵軍相持多日，相機殲滅了敵98師一個營，攻占了黃安縣城，隨後深入發動群眾、鎮壓惡霸、清剿“小保隊”等反動民團，開辟了包括黃安、黃陂、孝感、禮山四縣在內總麵積100多平方公裏的根據地，控製了通向武漢的交通要道。譚善和重視開展城市工作和對敵工作，使三地委和第3軍分區雙重領導下的城工部非常活躍，將工作推進到了敵人嚴密控製下的武漢城內，連白崇禧司令部絕密的《武漢城防圖》、《武漢外圍軍事部署圖》也被城工部獲得。
1949年2月，中原野戰軍改稱第二野戰軍，劉鄧首長決定組建包括炮兵、工兵、裝甲兵諸兵種的特種兵縱隊，由二野參謀長李達兼任特種兵縱隊司令員和政治委員，孔從洲任副司令員，譚善和任副政委。初組建的特縱下轄兩個炮兵團、兩個工兵團和一個坦克大隊，裝備全部是從國民黨軍隊手中繳獲的。部隊一麵整訓一麵為渡江戰役做準備工作。
3月，特縱隨二野司令部進駐安徽桐城，受命在五天之內架通七裏河橋，譚善和親率工兵團就地籌集架橋器材，冒著國民黨飛機的轟炸晝夜施工，按時完成了任務。長江北岸河網密集，還有不少沼澤地，影響渡江部隊運動，譚善和指揮特縱工兵在短時間內搶架了十幾座中小橋梁，使部隊集結地到江岸攻擊出發地之間暢通無阻，為渡江戰役的勝利創造了條件。