不久，聶榮臻司令員指示，讓邊區政府專門派人到358旅慰問指戰員。地方群眾和部隊還組織了聯歡慶捷大會。
“延安參觀團”的王誌濤，以及《大公報》的記者和“聯合國賑災委員會”的於璞等人，也專門到358旅慰問傷員，撥給100元大洋的慰問費。
當358旅返回晉西北國民黨騎兵1軍防區時，該軍軍長趙承綬還組織他的部隊，參觀358旅的戰利品，並將該軍的家屬基地靜樂縣婁煩鎮讓出給358旅駐紮。
晉察冀邊區反日軍25路大“圍攻”，於11月7日勝利結束。日軍“北圍五台”的計劃破滅了，不得不狼狽地逃出了邊區。
1939年1月，出色的伏擊戰指揮員張宗遜，以自己親身經曆所取得的經驗，撰寫出《根據晉西北經驗談敵後的遊擊戰爭》一文，發表在《八路軍軍政雜誌》第1卷第4期上。他在文章中指出：“隻要我們把握住戰爭發展的規律，認清敵我之優缺點，發揚我之長，擊敵之短，以我之長造成敵人錯覺，而在戰鬥指揮上發生錯誤，則不論在任何困難環境下，都能夠戰勝敵人，爭取勝利。”
從上述簡短的幾句話中，不僅展示了張宗遜的戰鬥風采，而且道出了他在戰鬥中屢屢獲勝的原因。
無論是對日軍，還是對偽軍作戰，張宗遜均能靈活運用“以我之長，擊敵之短”的戰略戰術和指揮藝術。
抗日戰爭進入相持階段後，日軍將主要兵力轉向華北，妄圖消滅堅持抗戰的八路軍，摧毀抗日根據地。
敵變我也變。賀龍、關向應率師主力開赴冀中，執行鞏固冀中、幫助3縱隊、壯大自己等任務。為了統一指揮，於5月下旬發布整編令，組建張縱隊，由張宗遜任司令員，張平化任政委，下轄由715團和冀中軍區獨立第4支隊的1、2、3團編成的第1旅；由716團和冀中軍區獨立第5支隊的4、5團編成的第2旅。
6月，張宗遜率張縱隊開至滄石路兩側，發動群眾，開展遊擊戰爭。由於張宗遜在新區堅決貫徹執行三大紀律八項注意，始終紮根在群眾中，受到人民群眾的擁護和支持，所到之處，青年踴躍參軍，部隊得到了很大的發展。
這時，國民黨河北民軍司令，反動頑固分子張蔭梧賊心不死，率2000多人，由冀南向冀中軍區進攻，於6月18日侵占深縣以南的黃龍、陳莊地區，20日又繼續占了張騫寺、北馬莊、魏家莊地區，氣焰囂張。
張宗遜奉命於22日率部反擊，在猛烈的炮火打擊下，張蔭梧部大部繳械投降，少數亡命之徒當場被擊斃。戰鬥中，生俘反共頑軍旅長以下2000餘人，擊斃500多人，有力地打擊了張蔭梧反共的囂張氣焰。
9月10日，第120師又進行了整編，撤銷張縱隊，由獨2旅整編為358旅，由張宗遜任旅長，張平化任政委，下轄第4團和716團。在晉察冀第二次黨代會期間，聶榮臻和關向應寫信給張宗遜和張平化，要他倆密切注意日軍的頻繁調動，警惕日軍發動突然“掃蕩”的可能，囑咐部隊做好戰鬥準備。
果然不出首長所料，8月22日，駐石家莊及正太線沿路的日軍獨立混成第8旅團的第31大隊，以及靈壽縣等四個縣的偽警備隊，共1500餘人，由靈壽出動，占領慈峪鎮，企圖采取“牛刀子戰術”襲擊陳莊，尋殲八路軍主力，妄圖摧毀八路軍抗日根據地後方設施。
晉察冀軍區獲悉日軍上述行動情報後，於27日拂曉電告張宗遜、張平化。
張宗遜、張平化等人分析：日軍主力正沿著魯柏山小路向陳莊輕裝疾進，慈峪鎮肯定隻留下少數人堅守，於是立即做了兵力部署：津南自衛軍以一個營的兵力繞道追擊敵人，餘部仍控製白頭山，北譚莊以南地區的陣地，嚴密監視慈峪鎮的敵人；716團、2團、獨立1支隊等部立即順大路向陳莊前進。
27日上午，敵人在陳莊撲了個空。下午，張宗遜指揮部隊趕到陳莊外圍，待敵出陳莊以殲滅。
28日晨6時，敵人在陳莊搶掠一空，用火焚燒陳莊後向東撤退，遭到第1支隊節節阻擊。上午10時許，敵人進至馬溝裏、破門口地區時，又遭到2團特務連和716團的猛烈阻擊。到了下午2時，358旅經過急速行軍已經完成了對日軍的四麵包圍。
黃昏來臨時，賀龍師長趕到指揮所，同張宗遜、張平化等分析研究了敵情，決定立即向敵人發起總攻擊，
頓時，魯柏山槍炮聲齊鳴，殺聲震天。戰至30日下午，殲敵1100餘人，俘虜日軍16人，繳獲山炮3門，機槍23挺，步手槍530多支，擲彈筒9個，無線電台1部。
從此，敵人再也不敢輕易以一個大隊以下的兵力深入邊區腹地了。
在這次戰鬥中，358旅參戰部隊也付出了比較大的代價，共傷亡584人。
陳莊戰鬥結束後，賀龍命令張宗遜指揮358旅4團、715團和雁北支隊，分別向上下礬、下關、站上地區的頑軍發起攻擊，打死打傷頑軍100餘人，俘虜650多人，繳槍100多支，使晉東北頑軍遭受嚴重打擊。
1940年2月，八路軍120師主力由晉察冀邊區返回晉西北根據地。
6月，日軍出動了兩萬多人，從南、北、東三麵對晉西北抗日根據地實行空前“大掃蕩”，要尋找120師主力決戰。
張宗遜根據賀龍師長的部署，率358旅並指揮獨立2支隊，以靈活機動的戰術，同擁有重兵的日軍周旋，並派出偵察員尋找戰機。
16日，偵察小分隊獲悉一股700餘人的日軍進入了米峪鎮，並有向靜樂方向撤退跡象。
張宗遜發現了戰機，總是不放過的。他決定利用米峪鎮附近的有利地形殲滅這支日軍，便命令部隊於當日下午進至米峪鎮以北大夫莊附近設伏。可是日軍不出來，張宗遜又使用主力向米峪鎮開進，準備以遭遇戰消滅敵人。17日早7時，4團果然在曹家掌與日軍遭遇，4團搶占了有利地形拖住敵人，到了9時許，716團趕到投入戰鬥，戰至中午，日軍傷亡慘重，妄圖突圍逃走。張宗遜指揮部隊迅速將敵人包圍，並發起攻擊，殲敵大部，餘敵仍負隅頑抗。張宗遜命令4團圍困敵人。4團圍困敵至19日，又殲滅殘敵大部。
8月20日，八路軍總部指揮部隊向華北敵占交通線和據點發動了“百團大戰”。張宗遜率358旅積極參加這次大規模的進攻戰役，與兄弟部隊進行大小戰鬥19次，擊斃擊傷日軍220餘人，俘虜日軍10人，攻克敵據點1個，破壞鐵路10公裏、公路7公裏、橋梁兩座，勝利地完成了師部交給的任務，沉重地打擊了日軍的“囚籠政策”。
為了便於統一指揮作戰，加強根據地人民武裝的領導，中央軍委於1940年10月30日批準組成晉西北軍區，張宗遜任第3軍分區司令員，李井泉任政委，下轄358旅。
12月中旬，日軍又調集兩萬餘人的重兵，對晉西北實行全麵的大“掃蕩”。日軍所到之處，實行“三光”政策，致使根據地許多村莊被燒光，許多家庭被殺絕，許多婦女被強奸後殺害，根據地人民遭到空前的浩劫。
張宗遜領導第3分區軍民，同仇敵愾，奮起反擊日軍，在37天內，作戰64次，給了日軍強有力的打擊。
在晉西北各部隊的反擊下，“掃蕩”的日軍在疲憊不堪和終日慌恐不定的情況下，收兵退回原來的據點。
1941年8月，日軍再一次集中7萬多兵力，在空軍配合下，又發動對晉察冀邊區大“掃蕩”。張宗遜等率358旅配合晉察冀軍區部隊進行反“掃蕩”作戰，以各種形式給了日軍沉重打擊，完成了上級交給的支援作戰任務。
1943年5月，張宗遜赴延安參加整風學習。在學習中他受到了毛澤東同誌的接見。12月，張宗遜同延安自然科學院大學班學生杜芳結婚，從此，他有了美滿幸福的家庭。
1943年3月，張宗遜從延安返回部隊，仍任358旅旅長，領導該旅出色地完成了作戰、訓練和大生產任務。
解放戰爭開始後，張宗遜任西北野戰軍副司令員，協助彭德懷指揮宜川、隴東、扶眉、蘭州等戰役，率部馳騁在解放戰爭的戰場上。
沙家店戰役之後，西北野戰軍由戰略防禦轉入戰略進攻，張宗遜率部轉戰西北地區，取得了輝煌戰績。戰後，西北野戰軍召開旅以上幹部會議，毛澤東、周恩來、任弼時親自趕來參加，向指戰員祝賀勝利。
1947年底，為了提高全軍指戰員的政治覺悟，整頓部隊紀律，適應戰爭形勢發展的需要，西北野戰軍結合當時解放區進行的土地改革，在全軍開展冬季整訓。這次整訓以訴苦和三查為主要內容，即在訴苦的基礎上，開展查階級、查思想、查鬥誌的運動。
戰士們控訴舊社會、反動派給自己帶來的苦難，湧現出一個又一個血淚控訴的典型。714團第6連第2班班長劉四虎，是來自解放區綏遠豐鎮的子弟兵。在全連的訴苦大會上，劉四虎一手摘下帽子，一手指著頭上的傷疤嗚咽著說：“這就是老板給我的工錢!”停了一會兒，他又說：“在舊社會反動統治下，我們窮人沒有法子活，拚命幹也吃不飽，處處受氣，有理也無處說呀！”劉四虎在台上痛哭流涕，在台下引起一片啜泣聲。
經過兩個多月的以訴苦、三查和練兵為主要內容的冬季整軍，部隊麵貌一新，鬥誌高昂，1948年春，開始了外線的戰略進攻作戰。
春節前，西北野戰軍在米脂縣呂家溝野司駐地召開了作戰會議。張宗遜出席這次會議。
在會上，彭總對打出去的幾種方案作了充分的分析研究，最後根據黨中央、毛澤東主席的指示，確定西北野戰軍南下陝中，進軍黃龍山區，配合中原的陳賡兵團打擊胡宗南主力。發動宜川戰役，作為打出去的第一步。采用“圍城打援”，以一部兵力包圍宜川城，誘使敵劉戡率部增援，我主力設伏，殲敵於運動中。劉戡是胡宗南整編第29軍軍長，進攻陝甘寧邊區的敵主力之一。在陝北作戰中，他因連吃敗仗，膽小怯戰，受到胡宗南的訓斥，現他的部隊駐守延安、洛川、宜君、黃陵、宜川等地。
“我們圍攻宜川，劉戡主力會不會出動增援呢？”一些人擔心誘不出敵人。
“這一點大家不必擔心。我看劉戡沒有多少自由，他的命運操縱在胡宗南手裏。上次增援榆林，劉戡已經因畏縮不前受到撤職留任的處分，胡宗南給他記下了一筆賬。我軍隻要把宜川打得緊，胡宗南就會下死命令叫劉戡增援，他就不敢不來，一定會乖乖地鑽進我軍布下的圈套。”彭德懷十分有把握地說。
張宗遜為了打好整軍後的第一仗，會議結束後，他深入部隊，進行深入細致的思想動員，要求各級指揮員不僅自己在戰鬥中起先鋒模範作用，而且要充分發揮廣大指戰員的戰鬥積極性。通過動員學習，廣大指戰員紛紛表示一定要打好圍城打援的戰鬥。
在戰鬥發起前，張宗遜深入前沿陣地，了解戰士的準備情況，回答幹部戰士的疑難問題。
1948年2月，以訴苦三查為中心內容的新式整軍運動剛剛結束，根據中央軍委的指示，西北野戰軍展開春季攻勢，轉入外線作戰，發起了宜川、瓦子街戰役。
宜川、瓦子街戰役是一次圍城打援的戰役。彭德懷分析，我軍圍攻宜川，敵人必將派兵增援，其行軍路線很可能是經過瓦子街。於是，彭德懷命令第3、第6縱隊完成了對宜川守敵整編第24旅的包圍。
2月25日，張宗遜在司令員彭德懷的帶領下，會同參謀長張文舟等人，先後到宜川北原高地和瓦子街以北地區察看地形。瓦子街是洛宜公路的咽喉，往東經任家灣到鐵籠灣，山勢險峻，森林茂密，荊棘叢生，兩山之間形成一條長約15公裏的狹穀，便於伏擊援敵。
這次宜川的敵人被圍困後，戰局完全按照彭總預料的情況發展。
張初漢率領的國民黨軍整編第24旅被圍困在宜川城動彈不得，急得他在報話機裏向劉戡連連哭著求援。胡宗南終於下了死命令，逼著劉戡率部出動，增援的敵人乖乖向瓦子街開來了，進入彭總設下的埋伏圈。
358旅旅長黃新廷、政委餘秋裏堅決執行命令，派出714團及715團一個營先敵進入了埋伏圈，做好殲敵的一切準備。
714團在不久前的訴苦和三查運動中搞得最好，在這次瓦子街戰鬥中也打得最頑強。在團長任世鴻的率領下，全團英勇奮戰，連續奪取了南山數個陣地，堵住了敵人的逃路。
敵29軍和90師指揮部被714團包圍，敵人不惜血本，向714團陣地發起一次次衝擊，戰鬥打得十分殘酷。團長任世鴻和參謀長武治安犧牲在陣地上。政委徐文禮、副團長薛常義也都負了傷。2營教導員夏偉在營長不在位、副營長陳占彪犧牲的情況下，沉著地指揮全營作戰，身負重傷，堅持不下火線。
上麵提到的714團2營6連，140多人打得最後隻剩十幾個人了，仍堅持頑強戰鬥，就像一塊啃不動、砸不爛的硬骨頭守在陣地上。2班班長劉四虎是訴苦、三查中湧現出來的子弟兵典型，他用一把刺刀與十幾個敵人展開白刃格鬥，連刺死七 個敵人，威震敵膽。他被敵人捅了11刀，昏倒在陣地上，後被增援的戰友及時救出。6連這種“硬骨頭”精神，後來名揚全軍，並被上級命名為“硬骨頭六連”。
在瓦子街將敵援兵全部殲滅。敵29軍中將軍長劉戡在陣地聽到四處都抓俘虜的叫喊聲，喪魂落魄，自感絕望，最後他用手榴彈自斃。敵90師師長嚴明在逃跑中被擊斃。敵27師師長王應尊被活捉，後混在俘虜中乘隙逃跑了。
不久，圍攻宜川的部隊也取得了全勝，殲敵一個旅，活捉敵旅長張漢初。
瓦子街、宜川戰役殲敵一個軍部、兩個師部，五個旅，近三萬人，取得了解放戰爭戰略進攻後的第一個大勝利。
彭德懷、張宗遜等野戰軍首長給1縱隊發了一個嘉勉電：“賀（炳炎）司令、廖（漢生）政委轉1縱全體指戰員同誌：你們為完成任務，殲滅敵人，不顧嚴寒大雪，按時迂回敵後，與敵人反複肉搏，此種不怕犧牲、不怕饑餓、不怕寒冷，堅決勇敢頑強的戰鬥精神，表現了你們為人民事業的高度覺悟，是值得全軍學習的。希望你們虛心學習，繼續奮鬥，消滅蔣胡匪軍，解放大西北！祝賀你們的勝利！”
不久，毛澤東主席也簽發了黨中央的賀電。1948年3月7日，毛澤東又以解放軍總部發言人名義發表了《評西北大捷兼論解放軍的新式整軍運動》，文中稱讚：這次勝利改變了西北的形勢，並將影響到中原的形勢。這次勝利證明人民解放軍用訴苦和三查方法進行新式整軍運動，將使自己無敵於天下。
宜、瓦大捷後，張宗遜又率部進行了西府、隴東戰役，粉碎了胡宗南的“機動防禦”作戰，解放了大西北。
中華人民共和國成立後不久，第一野戰軍和西北軍區合並，彭德懷任司令員，習仲勳任政治委員，張宗遜任第一副司令員，合並後，張宗遜率領部隊在執行剿匪、肅特和守衛邊防的任務中做出了突出貢獻。