在這一年多裏，鄭維山經曆了張國燾的分裂，經曆了西路軍的西征和失敗，使他失去了朝夕相處的許多親密戰友，失去了幾年來一起戰鬥的部隊，心情極其沉痛。但是，這段經曆對他的成長和發展來說，又是非常重要的。盡管他對所經曆的這兩件事的形成和發展詳情並不清楚，但他已明顯感到：在張國燾強令紅四方麵軍南下之後，應當說部隊是打了一些好仗，但並未因此挽回分裂造成的巨大損失。在西路軍的戰鬥曆程中，部隊打得無比英勇，最後竟然無法避免失敗的慘局。這究竟是為什麼？當時，他還不十分清楚。然而，他從中第一次領悟到，對戰爭全局的指導，在戰爭中具有決定性的意義。隻有照顧好全局，正確地指導和把握住全局才能勝利。否則，部隊再英勇，打得再好，也難以挽回危勢和敗局。這使他突破了原來對作戰勝負問題的狹窄看法，能夠從戰略全局上認識問題了。鄭維山在沉痛的挫折和失敗中所形成的這種全局觀念，對他以後的軍事生涯具有深遠的影響。
鄭維山在抗大學習了八個月，1938年春被派往晉察冀軍區分配工作。
從1939年至1943年，鄭維山一直在晉察冀軍區教導團工作，先任政委，後任團長。他治學甚嚴，始終堅持教學與實戰相結合，不但要求教學內容適應作戰需要，還親自帶領學員參加遊擊戰、阻擊戰、破襲戰等多種形式襲擾敵軍的戰鬥，為部隊培養了不少能帶兵打仗的得力幹部。當時的辦學環境很差，特別是1941年後的一年多裏，日軍在華北實行“鐵壁合圍”、“篦梳式”的大“掃蕩”，環境尤為殘酷。鄭維山帶領教導團在胭脂河畔不大的一片地區內，依靠群眾支援和地形熟悉等有利條件與敵周旋，從未遭受損失，並掩護了群眾和領導機關，使全團人員受到很大鍛煉。1943年後，鄭維山調任4分區副司令員，後升任司令員，較好地完成了分區的作戰和建設。
1945年8月日本投降後，鄭維山出任張家口市衛戍司令員。1946年10月，華北國民黨軍向張家口大舉進攻，當傅作義從張北偷襲張家口時，鄭維山奉命率教導旅攔擊，在狼窩溝與傅作義部展開激戰，為領導機關轉移爭取了時間。
張家口撤守後，鄭維山出任察哈爾軍區司令員。當國民黨軍向察南進犯時，他率地方部隊殲國民黨軍一個團大部。這在當時的情況下，一支地方部隊與國民黨正規軍作戰，是較大的戰果。
1947年7月，鄭維山被任命為晉察冀野戰軍第3縱隊司令員，參加了爾後解放華北的曆次重大戰役及解放西北的決戰。
9月，鄭維山率領3縱參加了大清河北戰役，完成了進攻淶水、引敵西向、配合兄弟部隊在主戰場殲敵的任務。
10月，鄭維山率部參加了第四次保(定)北戰役。在交戰過程中，駐石家莊國民黨軍第3軍軍長羅曆戎率軍直、第7師及16軍一個團北上，企圖實施南北夾擊，殲晉察冀野戰軍主力於徐(水)固(城)間。野戰軍首長獲悉這一敵情後，立即率大部兵力移師南下，決殲羅部於運動中；留2縱第4旅，3縱第7旅、第8旅及冀中獨7旅，阻敵南援。兩天後，為防保定之敵南出，又將第7旅和冀中獨7旅調往保南。保北隻剩下兩個旅阻擋數倍南援之敵，加以地處平原無險可守，而敵人卻憑借優勢兵力和火力，實施集團衝擊終日不止，戰鬥異常激烈，10月21日達到白熱化程度。國民黨第11戰區司令孫連仲臨陣督戰，兵團司令李文地麵指揮，出動三個團在3縱8旅當麵輪番進行衝擊，同時在後麵公路上擺著大量卡車，滿載整裝待發的“國軍”，意在不惜一切代價打開通路，火速南援。鄭維山沉著應戰，指揮8旅頑強防守，適時反擊，與2縱4旅協同作戰，使國民黨軍寸步難進，直至南線國民黨軍在清風店全部被殲，軍長羅曆戎被俘，北線國民黨軍仍被滯留於保定附近。保北阻擊戰，自10月18日開始至22日結束，曆時5天，共斃傷國民黨軍4200餘人。事後，聶榮臻司令員說：“正因為保北的苦戰，我們在清風店才取得了重大的勝利。”
11月，鄭維山率3縱參加了石家莊戰役。石家莊是座堅固設防的城市，以內、外市溝及核心工事為骨幹，設有三道防線，市內築碉堡6000多個，四周重要村莊均築有支撐點。國民黨軍第3軍32師及地方部隊2.4萬餘人據守該城。晉察冀野戰軍奪取這樣的城市尚屬首次。由於參加攻城的部隊3縱、4縱和冀中、冀晉軍區的部隊認真執行了朱總司令“勇敢加技術”的指導思想，戰役進展相當順利。3縱擔負由西南方向向市中心區攻擊的任務。部隊士氣極為旺盛，表現了高度的戰鬥積極性。11月6日發起攻擊，掃清外圍後，針對內外市溝設防嚴密、地形開闊、便於發揮火力等特點，普遍展開了大規模土工作業，各第1梯隊團都挖了2至3道約5公裏的交通壕，直達敵陣地前沿，在壕內運動接敵，大大降低了敵各種火力的殺傷。攻擊時以爆破、炮火與突擊相結合，迅速突破敵陣，並積極向縱深發展，11月8日、10日連克敵內、外市溝，還殲滅了敵2梯隊團大部。進入街巷戰鬥後，部隊又針對敵碉堡林立的特點，采取了破牆連院的辦法，以班排為單位穿插分割，結合政治攻勢，殲滅、瓦解敵人，使敵難以組織統一、有效的抵抗。11月12日，向敵核心工事發起總攻，聚殲殘敵。這座被稱為“可坐守三年”的堅城，6天即被攻克，2萬餘國民黨守軍全部被殲，師長劉英被俘。朱總司令把石家莊戰役譽為“奪取大城市的創例”。戰後，鄭維山兼任該市衛戍司令員。
12月，鄭維山率部參加了第五次保北戰役。此時，因華北國民黨軍屢遭敗績，蔣介石把希望寄托在傅作義身上，委他為冀察晉熱綏五省“剿匪”總司令，把他捧為“中興大臣”。傅作義也想一顯身手，戰役過程中令其嫡係“王牌”35軍並配屬騎兵4師及炮兵部隊南下，尋晉察冀野戰軍主力決戰。正當3縱將向淶水發起總攻時，傅作義的第35軍趕來，其“虎頭師”——新編32師已攻占了9旅防地莊疃。鄭維山查明敵情後，果斷決定緩攻淶水，以縱隊主力包圍莊疃，並於1月12日發起總攻，至13日9時即將“虎頭師”全殲，創晉察冀戰場一個縱隊圍點打援殲國民黨軍一個主力師(欠一個營)的範例。新編32師師長李銘鼎被擊斃，35軍軍長魯英麟引咎自殺，給了剛就任“剿總”的傅作義當頭一棒。
此後，華北野戰軍為配合東北解放戰場作戰，將華北國民黨軍抑留關內，連續實施了高度機動作戰。
1948年3月，為將華北國民黨軍引向西麵，發起察南綏東戰役。鄭維山率部挺進察南，連克桃花堡、白樂堡，徒涉桑幹河，克重要據點化梢營，殲國民黨軍1800餘人，完成了作戰任務。
5月，為配合東北野戰軍奪取長春，鉗製錦州範漢傑集團，發起熱西戰役。原定3縱在南口以東過平綏路，開進途中發現平西北有國民黨軍兩個團趕來堵截，乘敵立足未穩，鄭維山揮師猛擊，全殲該敵。為避免與援敵糾纏，鄭維山隨即引軍西向，在沙城、土木間越過平綏路，迅速進至懷柔、古北口沿線，協同兄弟部隊將平承線分割為三段。後因奪取長春的計劃變更，此役作罷。
6月，發起冀東戰役。此役是以華北野戰軍主力出擊北寧線，首先殲滅山海關至唐山間外圍之國民黨軍，逐步切斷華北國民黨軍與東北國民黨軍的陸上聯係。為實現這一目的，必須把集結在平承線上傅作義的機動兵團3個軍11個師扭住方能奏效。鄭維山受命率3縱擔當此任。6月6日，3縱在平穀前後芮營擺開決戰架勢，引國民黨軍來攻。國民黨兩個軍果然出動，激戰兩日，第3日，鄭維山佯裝敗退，棄陣東轉。國民黨兩個軍緊追不舍，鄭維山以兩個旅節節抗擊，將其拖往山區，連續戰鬥了7天，直至華北野戰軍主力在北寧線攻克據點15處，殲國民黨軍5300餘人，唐山告急，方如夢初醒，罷戰東援。待國民黨2個軍東移後，鄭維山又揮師北進，連克石匣、小營，殲國民黨軍2000餘人。當鄭維山率3縱急攻平北重鎮古北口時，又把將東援的國民黨軍牽回。此時，華北野戰軍東線部隊再次抓住戰機，連克昌黎等據點多處，又殲國民黨軍4800餘人，掐斷了北寧線。正當國民黨軍在北線調來調去窮於應付之際，華北野戰軍南線部隊乘機發起了第6次保北戰役，連克淶水、新城、徐水等縣城，再殲國民黨軍1.2萬餘人。華北野戰軍這一階段的作戰，東西配合，南北呼應，打得有聲有色，使華北國民黨軍疲於奔命，損兵折將，因而受到中央軍委的讚揚。
8月，為配合東北野戰軍南下北寧線作戰，華北野戰軍奉命組成第3兵團，9月進軍綏遠。3縱歸屬2兵團建製，任務是掩護3兵團開進，爾後配合3兵團發起察綏戰役，使華北國民黨軍自顧不暇，無力北援。為此，9月5日，3縱與4縱配合行動，一出平北，一出平東，與國民黨3個軍10個師激戰五晝夜。隨後4縱引國民黨一個軍4個師北向，3縱且戰且退，連續92小時轉戰400餘裏，將國民黨兩個軍引入平北山區。這裏道路險阻，氣候異常，沿途的“小西天”，“9月天氣酷似嚴冬”；而“鬼見愁”又是“絕壁千尺”，有的地方隻容一人側身通過。鄭維山利用這裏的地形條件，一直把國民黨軍拖到9月下旬。這時，3兵團在綏遠發起進攻，很快占領綏東及綏南大部，並包圍了歸綏(今呼和浩特)。傅作義急調兩個師西解歸綏之圍。鄭維山隨即率領3縱向平張線轉戰，在宣化東南殲國民黨軍2個團，相繼攻占沙城、新保安、下花園、涿鹿等據點多處，切斷了西進國民黨軍東返之路，有力地配合了東北野戰軍攻錦戰役的勝利。
1948年10月下旬，蔣介石與傅作義密謀偷襲石家莊。聶榮臻司令員向鄭維山轉達了周恩來副主席的指示，命令3縱火速南下，保衛石家莊。鄭維山帶領3縱從涿鹿出發，晝夜兼程，4天走了600多裏山路，終於在國民黨軍偷襲之前趕到石家莊，粉碎了蔣、傅的偷襲陰謀。
之後，鄭維山率3縱參加了平津戰役。遵照中央軍委的統一部署，12月8日，3縱協同兄弟部隊將傅作義集團的第35軍包圍於新保安。當日下午偵知國民黨軍第104軍由懷來西出接應35軍。懷來距新保安路程不遠，而且沿途沒有人民解放軍的部隊阻攔，104軍到達後即可對包圍新保安的3縱等華北野戰軍部隊實行兩麵夾擊，其35軍亦可能逃掉。當時，鄭維山不知兵團部的具體位置，無法請示報告。他從全局出發，果斷行事，當晚親率3縱主力至沙城及其以南布防，翌日晨便與敵104軍展開激戰。被困在新保安的35軍乘機拚死突圍。戰況緊急時，104軍與35軍相隔不足8裏，火力相接，廝殺之聲相聞，但終未能會合。戰至傍晚，鄭維山指揮3縱終將敵104軍擊潰。這時，指戰員紛紛要求乘勝追擊，對此，鄭維山十分冷靜，他從圍城的大局著眼，力排眾議，嚴令回師，連夜恢複了對新保安的包圍，因而受到了中央軍委和兵團部的表揚。後因執行中央軍委“圍而不打”的方針，直到12月22日，3縱協同兄弟部隊將傅作義集團的這支“王牌”第35軍一舉殲滅。
戰鬥剛剛結束，鄭維山又奉命率部進軍大同。一路頂風踏雪，3天行軍480裏，占領雲崗，切斷了國民黨軍西竄綏遠之路。隨後他又奉命東返，在德勝門、黃寺一線包圍北平，直至北平和平解放。
人民解放軍全軍實行統一編製時，3縱改稱第19兵團第63軍，鄭維山任軍長。
1949年4月，鄭維山參加了解放華北的最後一戰——太原戰役。63軍的任務是從東南麵向太原市區進攻。4月20日發起攻擊，連克黃家墳、石坊院等外圍據點，很快包圍了雙塔寺。雙塔寺是太原國民黨軍的城防要塞之一，也是閻錫山的東南防區指揮部所在地，三麵為溝壑環繞，築有三層工事，以國民黨第43軍軍部率暫編49師及72師、70師各一部據守。4月22日，鄭維山指揮兩個師從四麵猛攻，僅一個半小時即攻克雙塔寺據點，國民黨守軍被全殲。4月24日，攻打太原城的戰鬥開始，激戰一個小時3縱的部隊便登上城頭，占領首義門，爾後急速向城內攻擊，協同兄弟部隊經四個半小時攻堅作戰，全殲太原國民黨守軍，太原宣告解放。
太原解放後不久，華北第18、19兵團編入第一野戰軍序列，參加解放西北的決戰。1949年6月，鄭維山率63軍由禹門口渡過黃河，進軍關中。抵三原後，便開赴乾縣、禮泉以北山區，執行鉗製麟遊山區青海馬步芳部及寧夏馬鴻逵部，保證扶(風)眉(縣)戰役的進行。此役進展神速，兄弟部隊在主戰場經四天激戰，殲胡宗南部四個軍；青、寧“二馬”懾於人民解放軍的強大威力未敢出援，向隴東撤去。人民解放軍副總司令兼第一野戰軍司令員彭德懷隨即下令，以三個兵團零一個軍的兵力追殲“二馬”。63軍於7月下旬沿西蘭公路進擊。“二馬”原擬扼守甘、寧咽喉——平涼，與一野追殲部隊決戰，因都想保存實力，誰也不願首膺其鋒，未敢決戰，又分別向蘭州、寧夏撤退。63軍首當其衝，一路追擊，沿途除188師在瓦亭、任山河配合64軍擊潰寧夏馬鴻逵一部，殲其5000餘人外，沒有打什麼大仗，於8月20日直逼蘭州近郊。此時，青海馬步芳部，決計利用蘭州天險，在胡宗南部及寧夏馬鴻逵部配合下，與人民解放軍決一雌雄。於是，在彭總指揮下，第一野戰軍發起了解放西北的決定性一役——蘭州戰役。
第一野戰軍投入攻城的兵力有八個軍。63軍的任務是占領竇家山，沿西蘭公路從東向城區攻擊。需要指出的一點是，鄭維山在這次作戰中與往常有些不同。因為他是西路軍的幸存者，麵對的正是當年的主要敵手，對往昔艱苦而又險惡的西征曆程難以磨滅的記憶，對壯烈犧牲的眾多戰友的深情懷念，對無比野蠻殘暴的“馬家軍”匪幫鬱積多年的仇恨，胸中充滿了複仇的怒火，以及今日有幸參加消滅這些仇敵的極大欣慰，這一切促使他凝成一種格外強烈的殲敵願望，一定要迅速地根除這群匪幫，徹底討還欠下的累累血債。他在作戰的組織指揮上，一向是果敢而又細膩的，強烈的複仇心理使他的這種特點發揮得更加充分。
在短促的臨戰時間內，鄭維山進行了大量工作。他結合親身經曆，向部隊反複說明了“馬家軍”的特點。“馬家軍”不僅尚未遭受我軍沉重打擊，屬於當今國民黨軍隊中少數戰鬥力最強的部隊，而且是一支長期依靠宗教迷信，一貫煽動回、漢對立建立起來的軍閥部隊。這支部隊的士兵在欺騙宣傳的蒙蔽下，不少人相信是為自己的宗教、民族而戰，並相信戰死可以升天，加之其內部督戰隊、執法隊的嚴密監督，使士兵在戰鬥中能一往無前。匪徒們慣於赤胸袒臂、手舞大刀實施集團衝擊，前麵的倒下去後麵的又衝上來，其瘋狂性、野蠻性是其他國民黨軍隊難比的。鄭維山一再告誡部隊一定要在精神上、物質上、戰術技術上都做好準備，才能戰而勝之，決不能輕敵大意。在充分的精神準備的基礎上，鄭維山帶領各師長、政委詳細勘察了竇家山的地形。
竇家山位於城東南10公裏，海拔2089米，山勢險峻，西蘭公路由此通過，為蘭州東部之天然屏障及進出孔道。抗日戰爭時期在山上修了永備工事，後經加修建成了以鋼筋混凝土群堡與野戰工事相結合的15個陣地，各陣地間有塹壕、暗道相通，可獨立作戰，又可相互支援。陣地前築有7至9米的削壁和3至4道深寬各6米的外壕，在易於通過的地段設雷場、鐵絲網，構成了堅固、完整的防禦體係。在此守備的是號稱“王牌師”的國民黨軍100師第2團及馬步芳的警衛團和保安第1團。這預示著奪取竇家山將有一場惡戰。根據地形和敵情，鄭維山經研究決定：以189師並配屬軍炮兵團、工兵營擔任主攻，以擅長打山地戰的該師566團為主攻團，把突破口選在敵兩個團接合部附近的第1號陣地上；將188師配置在189師側後，扼製西蘭公路，視情況或隨時投入對竇家山的攻擊，或沿公路直搗城關；187師以一個團於左側十裏山助攻，該師主力為軍第2梯隊。這一部署顯示了他誓必砸開蘭州東大門的堅強決心。攻堅決心既定，又周密地組織火力。根據當年西路軍用棍棒作戰的慘痛教訓，他再三強調，充分發揮火力優勢是突破敵陣、退敵反撲、大量消滅敵人的重要保障。按照他的要求，部隊製定了詳細的發揮火力的計劃。炮兵將大口徑炮組成炮群；步兵炮、戰防炮盡量靠前配置，實施直接瞄準和抵近射擊；各團迫擊炮集中使用，伴隨步兵前進，並當場組織步炮協同。與此同時，對各戰鬥階段步兵的行動、炮兵的支援方法、射擊手段和聯絡信號，都作了具體規定，逐炮明確了任務。步兵調劑了一些槍支，挑選了一批刺殺強手，組成有衝鋒槍排和刺刀排的突擊隊，並配備手雷和炸藥包，對付敵暗火力點。同時集中部分機槍，組成火力支援隊，隨突擊隊作戰。組織部署之後，鄭維山又到主攻團督促檢查，把各項戰前準備工作全部落到實處。
8月25日，人民解放軍蘭州前線部隊向蘭州發起總攻。10點20分，63軍開始進攻竇家山。經近百門火炮半小時的火力急襲，竇家山前沿工事及火力點大部被摧毀，步兵師團很快突破了竇家山陣地。爾後的縱深戰鬥進行得非常激烈，部隊每奪取敵人一個碉堡、一塊陣地，都經過激烈的拚殺或擊退敵反撲。戰鬥過程中，63軍共打垮敵人相當營團規模的六次反撲，其中最大的一次是在部隊攻占1、3號陣地後，敵人組織約一個團零一個營連續進行的全線反撲。麵對敵人的全線反撲，鄭維山指揮擔任主攻的189師，除用一個營擔任側翼警戒外，將其餘八個營梯次擺開，準備依次投入戰鬥；同時命令187師加緊對十裏山攻擊，188師給前沿陣地輸送充足的彈藥。他特別要求擔任主攻的部隊，不但要固守陣地，而且要多消滅敵人，為爾後的進攻創造條件。敵人的反撲開始後，其情形同當年與西路軍作戰沒有多少差別，先是歃血宣誓、喝符祈禱，然後在督戰隊監督下，手舉大刀，以密集的隊形呼嘯而上，來勢甚為凶猛。由於63軍做了充分準備，步炮協同得好，敵人的反撲首先遭到炮兵猛烈轟擊，炮彈落處敵人一片片倒下去，待敵靠近前沿時又遭機槍、衝鋒槍的猛烈射擊，敵人又一層層倒下去，即使這樣，還有許多敵入突入陣地，最後以肉搏解決戰鬥。這是一場大血戰，整個戰鬥曆時近七個小時，189師完全占領竇家山陣地，敵人傷亡慘重，遺屍遍野，絕大部分被消滅在陣地上。