1938年1月，鄧小平出任129師政治委員。129師組織東進縱隊，由陳再道率領越過平漢路，挺進冀南，開展平原抗日遊擊戰爭。4月，129師粉碎了日軍對晉東南抗日根據地的九路圍攻之後，以太行山區為中心的晉冀豫抗日根據地基本形成，使中國共產黨領導的敵後遊擊戰爭，進入了一個不僅向著山地、而且向著平原發展的新時期。在這一新形勢下，129師迅即分兵，組織主力部隊向冀南、豫北、平漢路東平原地帶展開行動，建立新的遊擊區。徐向前率領769團、689團和第5支隊開赴冀南。當時冀南地區，敵我友犬牙交錯，“抗日司令”多不勝數。針對這一複雜情況，徐向前到冀南後，采取打拉、分化、收編、聯合等不同辦法，很快控製了冀南大片地區。到年底，劉伯承、鄧小平率師部和386旅等部隊進入平漢路東，直接領導冀南及魯西北的抗日鬥爭。此時，徐立清調任冀南東進縱隊政委兼第5支隊政委，在劉伯承、鄧小平、徐向前領導下，依靠廣大群眾，積極開展工作，參加了冀南地區反“掃蕩”戰鬥，對開展平原遊擊戰爭和擴大、鞏固冀南敵後抗日根據地作出了積極貢獻。
1939年3月，日軍對冀南地區大“掃蕩”被粉碎後，敵我鬥爭重點逐漸轉向山區。劉伯承、鄧小平在妥善安排了冀南地區抗日工作之後，率師部和386旅等部隊返回太行山區，加強山區對敵鬥爭。5月，徐立清回到129師政治部再任組織部部長。6月，敵以13餘萬兵力，對晉東南抗日根據地進行第二次九路圍攻。7月，日軍又集中5萬重兵，對太行山根據地發動最大的“秋季掃蕩”。129師在朱德總司令、彭德懷副總司令和劉伯承、鄧小平的指揮下，艱苦作戰，粉碎了敵人的圍攻和“掃蕩”。在反“掃蕩”鬥爭的同時，還進行了反對國民黨頑固派製造“磨擦”的鬥爭。
1940年，徐立清被選為中共七大代表。中共129師黨委指定由徐立清等帶領129師選出的中共七大代表，於5月赴延安參加中國共產黨第七次全國代表大會。徐立清等一行，於10月到達延安後，因七大延期，參加了延安整風和大生產運動。1941年6月，徐立清進入中共中央軍委創辦的軍政學院學習。1942年初，徐立清同黨秀玉結婚。3月，徐立清轉入中共中央黨校一部學習。在二年多的學習中，清算了王明“左”傾機會主義路線的錯誤，從理論和實踐中進一步提高了階級覺悟，改造了思想。1943年，徐立清參加了中共中央組織部組織的審查處理幹部委員會，接受處理從敵占區和白區到延安的幹部。審幹工作告一段落之後，徐立清任中共中央黨校二部組教科長。中共中央黨校二部的審幹工作做得比較好，沒有處分一個人。當時，第13、17支部有百多人需要“甄別”。他們多是從敵占區和白區到延安的。參加“甄別”工作的人中，有的受極左的影響較深，把受“甄別”的人看成敵人，幾乎都給戴上了“特務”、“叛徒”、“反革命”的帽子。徐立清對受“甄別”的人非常體貼，耐心聽取意見，深入調查研究，不到一個月就弄清了問題，給受害者一一平了反。徐立清對有極左思想的同誌講，紅軍時期張國燾挖“AB團”的教訓夠深刻的了，關押、殺害了多少同誌，哪有那麼多“AB團”？他啟發同誌們堅決貫徹黨的實事求是的原則和有關政策。經過40多年的曆史證明，徐立清是對的。受過那次“甄別”的同誌，現在說起這件事來，都對徐立清深表懷念和敬佩之情。
為了防備國民黨軍胡宗南部對陝甘寧邊區的進攻，中共中央軍委從晉冀魯豫邊區部隊中抽調第771團、16團和25團，開赴陝甘寧邊區，以增強陝甘寧邊區的防衛力量。這三個團到達陝北後，中央軍委決定組建新4旅，統一領導這三個團。1944年2月，徐立清調任陝甘寧晉綏聯防軍新4旅政治委員。在到任之前，徐立清和新4旅旅長王近山，還有16團團長程悅長等受到毛主席的親切接見。在接見中，毛主席講了成立新4旅的意義，還講了當時全黨、全軍開展整風和大生產運動的偉大意義。毛主席的諄諄教導，徐立清終生難忘。當時毛主席還對安子文講過，徐立清是紅四方麵軍擁護黨中央、反對張國燾、有政治頭腦、經過長期考驗的優秀幹部，沒有“山頭”思想，是新4旅政委的合適人選。徐立清在新4旅堅決貫徹黨中央和毛澤東的指示，積極開展生產運動，不到一年時間，全旅即達到了糧食大部自給，副食全部自給。
1944年，是世界反法西斯戰爭和中國抗日戰爭勝利的前夜。中國共產黨領導的解放區軍民，擔負著對日本侵略者進行大反攻的任務。陝甘寧邊區是中共中央所在地，是中國人民抗擊日軍的指導中心。以蔣介石為代表的國民黨頑固派，消極抗日、積極反共，在日軍進攻麵前節節敗退，一年裏又接連丟失了河南、湖南、廣東、廣西、福建等省的大部土地。與此同時，卻又向解放區製造反共“磨擦”。在抗日戰爭即將勝利的1945年7月21日拂曉，國民黨軍胡宗南所屬暫編第59師、騎兵第2師、預備第3師，突然向關中淳化爺台山八路軍陣地進攻。在忍無可忍的情況下，徐立清協同王近山指揮新四旅771團和16團，以五個營的兵力攻擊敵爺台山主堡，配合警1旅3團、358旅，全殲了進犯之敵，取得了爺台山反擊戰的勝利，粉碎了國民黨頑固派妄圖奪取關中、鉗製陝甘寧邊區八路軍對日軍反攻的陰謀。徐立清在保衛陝甘寧邊區和爭取抗戰勝利的戰鬥中，作出了重要貢獻。
日本侵略者投降後，以蔣介石為代表的國民黨反動派不斷進犯解放區，搶奪抗日戰爭勝利果實，並在美帝國主義支持下，準備發動全麵內戰。中共中央和毛澤東主席采取針鋒相對的方針，“以談對談，以打對打”，一麵通過談判揭露美蔣的和談欺騙；一麵武裝自衛，對國民黨反動派發動全麵內戰作了相應的準備，並把主要精力放在對付蔣介石的軍事進攻方麵。1946年6月，美蔣反動派向解放區發動了規模空前的軍事進攻，解放區軍民奮起自衛，全麵內戰爆發了。8月，徐立清調任陝甘寧晉綏聯防軍政治部主任。王世泰任聯防軍司令員，習仲勳任政委，轄教導旅、新4旅、警備1旅、警備3旅、358旅。11月，聯防軍攻打橫山縣城東北之波羅堡，配合中共地下黨組織，爭取了國民黨保安司令胡景鐸部3000多人起義，改編為西北民主聯軍第76師。1947年3月，人民解放軍西北野戰軍成立，彭德懷任司令員兼政委，轄三個縱隊和二個野戰旅。4月，徐立清調任西北野戰軍政治部主任。
從1947年3月開始，蔣介石以胡宗南的部隊為主力，出動25萬人，向陝甘寧邊區發動重點進攻。當時西北野戰軍隻有2.5萬餘人，少敵10倍，敵我兵力極為懸殊。而且胡宗南部是蔣介石的嫡係，兵員充足，裝備優良。對付這樣的敵人，一開始部隊是有顧慮的。徐立清遵照中共中央和毛主席的指示，加強部隊的政治思想工作，教育部隊在戰略上要藐視敵人，在戰術上要重視敵人，以樹立戰勝敵人的信心。在政治教育的基礎上，開展了練兵運動。駐陝甘寧的西北人民解放軍部隊，對擔負保衛延安、保衛黨中央、保衛毛主席、保衛陝甘寧邊區的重大任務深感光榮，練兵的勁頭很大。在胡宗南的15個旅向延安進犯時，徐立清參加了延安保衛戰。當時部隊子彈很少，平均每槍不到10發。為使中共中央和毛澤東主席安全撤離延安，他們克服了種種困難，頂住了敵人向延安的進犯，硬是頂了七天七夜，到3月19日，中共中央和毛澤東主席等安全撤離延安。從延安撤出後，毛澤東、周恩來、任弼時和人民解放軍總部一直留在陝北，直到西北戰場轉入進攻。毛澤東主席在領導全國解放戰爭的同時，還直接指揮陝北人民解放軍作戰，極大地鼓舞了陝甘寧邊區及各解放區軍民戰勝國民黨反動派的信心。西北野戰軍，遵照毛澤東主席提出的“采取蘑菇戰術拖疲敵人”的辦法，轉戰陝北，徐立清參加了青化砭、羊馬河、蟠龍等戰役。每次戰役徐立清都親臨前線積極參加組織指揮，進行政治動員，在關鍵時刻挺身而出承擔危急任務。在永坪抗擊戰中，徐立清指揮警衛連抗擊敵人，掩護彭德懷司令員安全轉移。8月，他參加了出擊榆林的戰鬥，調動胡宗南主力北上，策應陳（賡）謝（富治）大軍南渡黃河。隨後，他參加了沙家店戰役，殲滅胡宗南部第36師。至此，胡宗南進犯延安的20多萬軍隊，半年中被殲滅和拖垮近半數，西北戰場上人民解放軍開始轉入內線反攻。9月，徐立清參加岔口追擊戰，擊潰南撤之敵第1軍、第29軍。10月，他參加延清戰役，收複清澗縣城，活捉敵師長廖昂，迫使敵胡宗南部放棄延安以北各據點南逃。
1947年10月9日，西北野戰軍組建第6縱隊，羅元發任司令員、徐立清任政委，轄新4旅、教導旅。隨即徐立清等率6縱參加第二次打榆林，圍攻月餘未下，冬季轉入新式整軍。新式整軍是西北戰場上取得的一條寶貴經驗。徐立清領導的第6縱隊的新式整軍運動健康發展，通過訴苦、“三查”(查思想、查工作、查鬥誌)，民主推選幹部，發揚三大民主(政治、經濟、軍事民主)，開展群眾性練兵運動，大大提高了官兵的思想覺悟和軍事素質，增強了部隊的戰鬥力。1948年二、三月，西北野戰軍在彭德懷司令員的指揮下，采取圍城打援的戰法圍攻宜川城，迫敵求援。徐立清和羅元發指揮新四旅771團和教導旅2團，參加了打敵援兵的戰鬥。前來援救宜川之敵的整編29軍兩個師、四個旅、八個團，在瓦子街被我打援部隊全殲，隨即西北野戰軍攻克宜川城，又殲滅守敵一個旅。此役共殲敵3萬多人，斃敵軍長劉戡、師長嚴明，俘敵軍參謀長劉振世、副師長李奇亨、師參謀長曾文思等，獲得全勝。隨後徐立清等率6縱參加了洛川戰役。
瓦子街、洛川戰役勝利後，1948年4月，在彭德懷司令員指揮下，乘勝組織西府、隴東戰役，向胡宗南後方挺進。徐立清等率第6縱隊進到長武、靈台，擔任截斷西蘭公路、阻擊隴東之敵馬步芳部東進、保證進攻西府的野戰軍主力安全等任務。西北野戰軍主力英勇出擊，解放寶雞，威脅西安，迫敵逃離延安，放棄陝北，改變了西北戰場的局麵，西北野戰軍完全取得了戰爭的主動權。在西府戰役中，胡宗南不僅調集了他在西北戰場的兵力，還從河南調來了大批兵力，向西北野戰軍夾擊。在此艱險情況下，徐立清臨危受命，他和羅元發指揮新4旅於4月27日南下風翔以東三十裏鋪，抗擊增援寶雞之敵，掩護主力向北轉移。與此同時，6縱機關和教導旅5月4日進到長武、鎮原一線，頂住隴東之敵馬步芳部，掩護西北野戰軍總部和彭德懷司令員轉移、援救兄弟部隊突圍。這一仗打得十分險惡，6縱二個旅經過三天三夜激戰，終使野戰軍總部機關和彭德懷司令員脫離險境。而徐立清所率的部隊，卻陷入了敵人的重圍。在接到野戰軍總部命令突圍的第二天，徐立清等率部向西峰鎮進軍途中，又與敵馬繼援部遭遇，經堅決抗擊擺脫馬敵之後，當黃昏轉移時又被跟追的敵胡宗南部合圍，截斷了前進道路。部隊在夜間從戰場上撤下來時，已是疲憊不堪，建製混亂，沒有飯吃，沒有水喝，彈藥將盡。徐立清臨危不亂，他和旅長組織指揮部隊頑強堅持戰鬥，直到勝利完成任務。在西北野戰軍召開的土橋會議上，彭德懷司令員表揚徐立清臨危顧大局、挺身入險境的大無畏的革命精神。西府、隴東戰役後，徐立清和羅元發率6縱於8月參加黃龍戰役，10月又參加合(陽)澄(城)和荔北戰役，都取得了重大勝利。隨後在合陽、澄城一帶進行冬訓。
1949年2月1日，人民解放軍實行統一編製，西北野戰軍整編為第一野戰軍，第6縱隊整編為第6軍。徐立清同羅元發率第6軍出擊渭北，解放富平、大荔等城鎮之後，5月20日參加解放西安的戰鬥。6月，第一野戰軍以第3、第4、第6軍組成第二兵團，徐立清被任命為第二兵團副政委兼政治部主任。他同兵團司令員許光達、政委王世泰率第二兵團參加了扶 戰役。7月11日，由禮泉經乾縣西渡漆水河，從胡宗南、馬步芳、馬鴻逵防線之間楔入，迂回到胡宗南部側後。次日拂曉，第二兵團先後占領青化、益店、羅局鎮與眉縣車站，斷敵退路，阻敵突圍，配合擔任正麵主攻任務的第十八兵團，將敵三個軍和一個兵團部壓縮在高王寺以南、羅局鎮以東、午井以西之渭水河灘，經五小時激戰，將敵全殲。同日午夜，第二兵團與第十八兵團會師後，又乘勝西進，第4軍克寶雞，第3軍占鳳翔，扶眉戰役勝利結束，共殲敵四萬餘人。第二兵團乘勝追殲向隴東逃竄之敵，先後占領安口窯、華亭、化平、通渭等地，爾後同第十九兵團一起追擊千裏，殲敵萬餘，迫敵馬步芳、馬鴻逵部敗退隴中、寧夏，造成人民解放軍各個殲滅敵人的有利態勢。
8月，在彭德懷的指揮下，第一野戰軍發動了蘭州戰役，集中第一、第二和第十九兵團八個軍分三路圍殲國民黨軍馬步芳部。第一兵團為左路，進軍西寧，截斷蘭州之敵的退路；第二兵團為中路，向蘭州城南、城西攻擊前進；第十九兵團為右路，向蘭州城北、城東攻擊前進。8月20日，第一野戰軍兩個兵團兵臨蘭州城下。25日拂曉發起攻擊，第二兵團第4軍首先突破敵堅固工事，攻占了沈家嶺、狗娃山；第6軍攻占了敵南山營盤嶺主陣地三營子；在63軍攻占馬家山的配合下，守敵全線潰退。26日2時，第二兵團第3軍攻入蘭州西關，搶占黃河鐵橋，切斷敵軍退路，並迅速攻入城內與敵展開激烈巷戰，於當日12時肅清城內殘敵，蘭州解放。隨即遵照彭德懷司令員的命令，第二兵團沿蘭新公路西進，9月21日與北越祁連山的第一兵團會師於張掖。在西北盤踞了80多年的馬家封建世襲統治被徹底摧毀。
在中國共產黨的號召下，在中國人民解放軍反攻作戰節節勝利的影響下，國民黨新疆警備總司令陶峙嶽和新疆省政府主席兼保安司令包爾漢，於1949年9月25日、26日分別通電宣布起義，新疆和平解放。
彭德懷司令員報請中共中央軍委批準，命令第一野戰軍第一兵團率第2軍和第6軍進駐新疆。在準備進疆的時候，1949年9月徐立清升任第1兵團政委。起義將領陶峙嶽等來到酒泉，同王震司令員和徐立清政委共同商討進疆事宜。中共中央新疆分局成立時，王震任書記、徐立清任副書記。成立新疆軍區時，徐立清兼任軍區政治部主任。為爭取部隊早日進疆，徐立清同王震等乘飛機到達烏魯木齊。當時，新疆局麵相當複雜，任務十分艱巨。一些反動的民族主義分子，不甘心和平解放新疆，妄圖勾結帝國主義勢力舉行叛亂；長期反動統治所造成的民族隔閡，亟待消除；中共各級組織需要建立、發展；舊的政權機構需要清理，新的政權機構需要建立；生產亟待恢複發展；三區(伊犁、塔城、阿山)建立起來的民族武裝，需要按照中國人民解放軍的體製進行整編和加強；起義部隊要團結、教育、改造。總之，新疆呈現的是“百結待解”、“百廢待興”的紛繁局麵。
進軍新疆工作的大政方針，都是按照毛澤東主席、中共中央、中央軍委指示決定的，各項工作開展得比較順利，很快打開了局麵。當時關係到全局的一項工作是從進疆部隊中抽調幹部，到地方去建立人民政權，到民族軍、起義部隊去進行工作，尤其加強思想政治工作和群眾工作，以及大力發展生產、改善人民生活等等。這項繁重的工作主要由徐立清具體負責。那時，幹部的思想覺悟雖然很高，指到哪裏打到哪裏，組織紀律性強，服從命令聽指揮，但要他們離開老部隊，到人地生疏、語言不通、民族習俗和信仰不同的地方去工作時也難免產生一些顧慮。徐立清根據革命工作需要，量才選人。許多幹部都是由他親自談話做思想工作，幫助解決實際問題，走上新崗位的。他對幹部既嚴格又實事求是。遇到思想一時不通的幹部，他耐心開導以誠相待。凡是經他談過話的幹部都反映心情舒暢。由於徐立清精明的組織才能和積極熱情的工作，在比較短的時間裏，從第一兵團抽調大批幹部的工作，進行得井井有條十分順利，從而使中共新疆分局的工作也很快地開展起來。
當時，駐在伊犁的民族軍是擁護共產黨、歡迎解放軍的。但由於他們一直處於邊疆，沒有受過中國共產黨的直接領導，對黨的民族政策不太了解，因而部隊思想比較動蕩，加上曆史形成的民族隔閡，不少人心存疑慮。1950年4月，徐立清帶工作組到伊犁去做民族軍的工作。他們在伊犁找了民族軍許多同誌談話，多次召開座談會，耐心解釋黨的民族政策，肯定了民族軍在反對國民黨統治時所起的作用，宣傳了中國人民解放軍的宗旨和光榮傳統。徐立清還特地囑咐從第一兵團派到民族軍工作的幹部，認真執行黨的民族政策。經過徐立清和工作組耐心細致的工作，使民族軍許多幹部、戰士消除了民族隔閡和疑慮，因而很快打開了局麵。民族軍整編為中國人民解放軍第5軍的工作也得以順利進行。賽福鼎和民族軍的許多領導幹部都一致反映徐立清的工作做得好，部隊思想穩定了，第一兵團派去的幹部和原民族軍的幹部密切了關係，增強了團結與合作。
徐立清在新疆時期，領導改造起義部隊的工作也做得非常出色，表現出他在長期革命鬥爭中鍛煉出來的政治工作領導才能。起義部隊的士兵多是貧苦家庭出身，不少人是被抓夫或被拐騙、買賣、抵債來當的兵，又由於他們長期受壓迫，幾乎每個人都有一本血淚史。從第一兵團派到起義部隊工作的幹部，在徐立清的領導下，首先發動士兵憶苦，回憶階級苦、誓報血淚仇。憶苦的“火種”一經點燃，士兵的覺悟很快提高，積壓多年的舊仇新恨像火山一樣爆發了出來，有的士兵甚至想對那些軍閥習氣嚴重的軍官進行報複。有兩個連隊的起義軍官，以為這是派進來的解放軍幹部有意整他們，因而，煽動士兵嘩變，形勢十分緊迫。徐立清聞訊後，立即趕赴現場，經過深入了解，弄清了前因後果。他采取把士兵和軍官分開學習的辦法，發揚民主廣泛聽取意見，然後把士兵對軍官的意見轉告給軍官，做耐心的說服工作。通過從兩方麵分別做工作，既穩定了軍官的情緒，又提高了士兵的覺悟，及時防止了嘩變，受到了陶峙嶽和起義部隊的歡迎。後來，這一士兵和軍官分開學習的方法被普遍推廣。新疆起義部隊順利改編為中國人民解放軍第二十二兵團以後，在建設和保衛新疆的事業中，發揮了重要作用。
中華人民共和國成立後，為了適應人民解放軍向正規化、現代化建設發展的需要，建立統一的幹部管理製度，實行統一的幹部管理，中共中央軍委1950年9月作出決定，成立總幹部管理部，大軍區、省軍區、軍分區和軍、師、團，按級成立幹部管理部門。10月，中共中央任命徐立清為軍委總幹部管理部副部長，在軍委總政治部主任兼總幹部管理部部長羅榮桓的領導下，分管全軍幹部任免和組織調配等工作。
建國初期，軍隊幹部工作由過去戰爭年代各解放區分散管理的做法，走向全國全軍統一管理，任務十分繁重。軍委和大軍區、軍兵種、院校領導機構需要組建、充實、加強；急需考察了解全軍幹部的情況，以實現“知人善任”；急需妥善撫恤犧牲烈士的家屬和致傷致殘、年老體弱的幹部；急需抽調大批幹部轉業，支援國家和地方建設；急需在深入調查研究的基礎上，按軍隊正規化建設的要求，建立健全正規、統一的幹部服役和幹部工作規章製度及其實施辦法。徐立清到職後，立即投入了緊張的工作。他善於用腦，親自動手。在羅榮桓部長的領導下，他組織機關幹部，遵照毛澤東主席和中央軍委關於軍隊幹部工作的方針、政策和指示，擬製貫徹執行辦法並組織實施。根據軍委總部機構組建的需要，到1954年的四年裏徐立清積極參與領導了從全軍選調了近三萬名軍事、政治、後勤和各類技術幹部，逐步建立、健全和加強了總參謀部、訓練總監部、總政治部、總幹部部、武裝力量監察部、總後方勤務部、總財務部、總軍械部，同時調配了近20萬名幹部組建了海軍、空軍、防空軍、公安軍、炮兵、裝甲兵、工程兵、通信兵、防化兵、鐵道兵等軍兵種，以及民航局、氣象局、軍事學院、政治學院、後勤學院、軍事工程學院等領導機構，從而使人民解放軍由單一的步兵，走向諸軍兵種合成的軍隊，完成了重大的曆史轉變。幹部工作，在這個重大轉變中措施得力、成績顯著，發揮了重大作用。在加強軍隊建設的同時，總幹部部向地方輸送了80多萬名幹部。在80萬軍隊幹部轉業地方的工作中，徐立清提出做好工作，務必使“走者愉快，留者安心”，既支援了國家政權建設和經濟建設，又推動了軍隊本身的建設。