1951年，在羅榮桓部長的領導下，徐立清參加領導製定了《中國人民解放軍各級幹部管理部門工作職責(草案)》、《中國人民解放軍幹部任免暫行辦法》、《關於評級工作指示》、《關於幹部保健暫行規定》、《關於若幹計算軍齡問題的規定》、《關於處理部隊中老弱殘疾人員的指示》、《關於複員工作的指示》等，卓有成效地統一了幹部工作的主要管理製度。從1953年開始，在中央軍委和羅榮桓部長的領導下，徐立清領導起草了《中國人民解放軍軍官服役條例》。1955年2月8日，徐立清在第一屆全國人民代表大會常務委員會第六次會議上，作了《關於中國人民解放軍軍官服役條例的說明》，會議一致通過後，毛澤東主席發布命令，公布了《軍官服役條例》。在徐立清精心組織之下，軍官服役製度、軍銜製度、勳獎章製度和薪金製度得以在全軍順利地實施，從而較好地奠定了軍隊組織建設製度化的基礎，有力地推動了人民解放軍革命化、現代化、正規化的建設。
徐立清十分重視通過院校培訓幹部的辦法。他堅決貫徹中央軍委提出的訓練幹部是建設現代化革命軍隊長期的經常性的中心工作的指導思想。他提出，院校工作一要抓好教員隊伍建設和在職幹部的選拔配備；二要準確地選調、培訓學員和正確地分配學員。建國後頭四年，他把通過院校培養幹部作為軍隊幹部的主要來源，使軍隊幹部隊伍的軍政素質及文化素質和專業知識水平，得到了顯著提高。
徐立清有一個突出的長處，就是善於聯係幹部、了解熟悉幹部、識別幹部和量才使用幹部。他曾一再強調，考核幹部是幹部工作的基本建設。隻有把考核幹部工作做好，才能正確地選拔使用幹部。他說到做到，身體力行。他不僅同廣大幹部有著經常性密切的聯係，還認真地研究幹部檔案和深入部隊進行麵對麵的考察，利用一切機會了解熟悉幹部。力求準確地掌握主要領導幹部的情況，他的家門一直是敞開的，隻要找上門來的同誌，不論職務高低，熟與不熟，也不論是節假日、白天或晚上，他都熱情接待。有一次，有位同誌去他家，因他不在家，門衛沒讓這位同誌進門去坐，事後他知道了這件事，專門派秘書去看望了這位同誌，表示了歉意。由於徐立清沒有架子，總以謙遜、熱情和平等的態度待人，廣大幹部都願意接近他，樂意同他談心、交心。也由於他厲行深入實際和艱苦細致的工作作風，使他很快掌握了全軍幹部隊伍的基本情況，熟悉了軍以上領導幹部和一些優秀的或有特長的師長、政委，尤其是對老紅軍和大單位的領導幹部了解得更詳細，甚至連他們家中發生了什麼事都能及時知道。所以，他參加中共中央、中央軍委和總幹部部研究幹部工作以及向羅榮桓部長彙報時，用不著翻本本，憑記憶就能說出主要領導幹部及全軍幹部的基本情況。由於他熟悉幹部的長處和短處，在研究幹部任職和配備領導班子時，能提出準確的意見，用其所長、避其所短，真正做到了知人善任，使領導班子搭配得當。
徐立清非常關心、愛護幹部。他總是耐心地從思想上、政治上幫助幹部進步，又非常重視解決廣大幹部的實際問題。他關心工農幹部的培養提高，也重視知識分子幹部，經常深入了解知識分子幹部的問題，檢查落實黨對知識分子的政策。他熱情扶持年輕幹部的成長，選拔年輕優秀幹部入學培養和出國深造，又特別關懷老幹部的安置。他多次講過，要在他有生之年，把老幹部安置好，在職的要關心離休的，台上的要關心台下的，有權的要關心無權的，沒犯錯誤的要關心犯了錯誤的。他所到之處，首先看望不在位的老幹部，幫助他們解決實際問題。他自己有病，卻經常把別人的健康掛在心上。他對待犯錯誤的幹部的批評是嚴肅認真的，同時又是熱情誠懇、實事求是的，既指出他們的錯誤，又不抹殺他們的功績、優點和長處；既講原則，又講團結，反對混淆兩類矛盾和“左”的一套整人的做法。一些犯過錯誤、接受過徐立清批評和幫助的同誌，至今仍對他懷有感激和敬重之情。
在評定幹部級別和為實行軍銜、勳獎章、薪金三大製度的工作中，徐立清傾注了心血。人民解放軍征戰年代沒有等級製度，建國後在正規化建設中，建立等級製度勢在必行。1951年，幹部開始評定級別，為實行軍銜製打基礎，1953年為實行軍銜製做準備；1955年全軍實行了軍銜製度、獎勳章製度和薪金製度。實施這些製度，政策性很強；評定工作十分複雜，涉及每個幹部的切身利益，既要考察其現任職務，又要考察其曆史功績，需要在全軍範圍內平衡，盡力做到公允。既要加強思想教育工作，更要加強細致的組織工作。隻有做好這項工作，才能鼓勵幹部上進，發揮幹部的積極性，鞏固軍隊內部的團結，增強部隊的戰鬥力。在總幹部部對全軍師以上幹部，特別是對1000多名幹部授予將官軍銜的工作中，徐立清親自動手，自上而下，普遍排隊，縱橫比較，反複衡量，逐個審查，統一研究，經常工作到深夜，有時秘書坐在沙發上睡著了，一覺醒來，天已放亮，看到他仍在伏案工作。1955年7月，幹部授銜授勳評定工作基本完成時，徐立清勞累成疾，心髒病嚴重，不得不離開工作崗位進行治療。
徐立清還有一個很大的特點，就是在工作中總是處處以身作則。他從不計較個人名利、地位和待遇。他是全軍唯一的一名正兵團級幹部自己要求不授上將軍銜的人。在評定軍銜時，按照中共中央軍委規定的條件，他既擔任過兵團政委、正兵團級、又現任總幹部部副部長，是完全符合授予上將軍銜條件的。當他看到授予上將軍銜的人員名單中有他時，他即給中央軍委和羅榮桓部長多次寫信，以自己主管幹部授銜的具體工作和“便於向幹部做工作”為理由，請求不要授予他上將軍銜。他這種高尚的情操，在廣大幹部中傳為佳話。他病倒之後，對自己占著位置不能工作深感不安，曾向中央軍委、彭德懷、羅榮桓元帥寫信，請求“讓位”，免去他總幹部部副部長職務，以便及時任命新人。當他身體剛有好轉時，又向上寫信，說他身體已難以勝任在總部工作，請求提前退出現役，轉業地方，或到省軍區任個副職，做點力所能及的兵役或群眾工作。他處處為革命工作和軍隊建設著想。他對家屬、子女和身邊工作人員，要求也很嚴格。他做了幾十年幹部工作，從未徇過私情。由於他處處以身作則，以自己的行動作出表率，在做別人的工作時，也就有一種無形的說服力。徐立清無私的高尚品德，贏得了人們的尊敬。他在廣大幹部中深孚眾望不是偶然的。
1950年10月初，徐立清到北京軍委總部工作那年剛滿40歲，滿頭濃密烏黑的頭發，身材勻稱，十分瀟灑健康。由於積勞成疾，從1955年下半年起一病五年，頭發變白了，身體明顯衰弱了，好像一下子老了許多。但徐立清還是不顧自己身體健康，拚命地為革命工作著。
1958年總幹部部合並於總政治部，為總政幹部部。1961年，徐立清身體已有好轉時，羅榮桓提請中共中央批準，任命他為總政治部副主任，仍然分工主管全軍的幹部工作，也兼管過保衛、組織、聯絡、群眾、民兵和國防科委的政治工作。為了加強對科技幹部的管理，1964年中共中央軍委決定，在總政幹部部和各大軍區、軍兵種幹部部門，增設科技幹部管理機構。在徐立清的主持下，總政治部隨即發出了《關於加強科技幹部管理工作的通知》，建立了實行職務名稱的製度。從此，對科技幹部的管理開始走上了軌道。為了加強民兵政治工作，在徐向前元帥的領導下，於1965年7月召開了全軍民兵工作會議。徐立清參加了這次會議，並在會上作了發言。會後中央批轉了由徐立清主持起草的《民兵工作會議紀要》。這一文件對指導民兵工作、加強戰備起了推動作用。
徐立清重新工作以後，即著手調查研究全軍幹部及幹部工作的變化情況，針對存在的問題，提出了不少改革意見和措施。他領導並親自組織對《軍官服役條例》進行修改，此條例於1963年提請第二屆全國人民代表大會常務委員會第102次會議通過，由國家主席劉少奇明令公布。這期間他狠抓幹部工作的各項條例的貫徹落實，並提出這是幹部工作的中心任務。
1962年，在廣州召開的軍委擴大會議上，徐立清發言強調幹部不應成為“一潭死水”，要有進有出。為了“出”好，他提出要根據幹部的不同情況，分別做轉業、複員、退休、離休安置。為了“進”好，他提出，一是要選好基層幹部，並形象地說，這是“選好苗子”，“苗優才能禾壯”。隻有把基層幹部選好了，幹部隊伍特別是各級領導幹部提高了素質，才能有可靠的保證。二是要選好各級領導幹部的接班人，以便進行新老交替。他主張選拔接班人要破除單純的資曆觀點，主官幹部可以在同級副職中選，也可以從下級正職中選，特別優秀的，需要時也可以越級提拔。這年的年底，在總政治部頒發的《1963年全軍政治工作指示》中，提出了要妥善安置年老體弱的老幹部和選拔培養接班人的問題。1963年2月，在全軍政治工作會議上，又專題討論了培養接班人的問題。同年底，徐立清主持召開全軍幹部工作會議，重點解決選拔培養接班人的問題。毛澤東關於接班人問題的講話發表之後，把培養接班人的問題，推向了一個新的高度。到1964年上半年，全軍新提拔的軍長、政委，約占同職人數的四分之一；新提拔的師長、政委，約占同職人數的三分之一，開始打破了論資排輩的框框，一些單位開始出現了40歲以下的師長、政委，35歲以下的團長、政委，30歲以下的營長、教導員，25歲以下的連長、指導員。軍隊選拔接班人的工作初見成效。
1965年9月，徐立清到江西萍鄉參加“四清”。他帶病在農村做調查研究，並同農民一起勞動。他用毛澤東思想教育團結農村幹部和群眾，反對“左”的做法，堅持實事求是，以理服人，整頓了農村黨的組織和政權機構，提高了農業生產，因而得到了好評。同年底的一天，徐立清突然被召回北京。事後得知是因所謂“羅瑞卿問題”。隨後不久“文化大革命”開始了。
“文化大革命”前，軍隊幹部工作已基本走上了正常軌道，幹部有進有出，幹部的選拔、使用、培養、交流和安置老幹部、培養接班人，以及幹部福利、撫恤、服役、退役等項工作，都逐步建立健全了規章製度和行之有效的措施與辦法。正當幹部工作向正規化發展的時候，“文化大革命”開始了，不僅正常的幹部工作遭到了破壞，而且給幹部工作橫加了許多莫須有的罪名，造成了嚴重的後果，給黨、國家和廣大幹部、群眾帶來了嚴重的災難。在這場災難中，徐立清也受到了誣陷和迫害。
“文化大革命”的十年浩劫中，徐立清在身處逆境的情況下，仍然盡力保護幹部。在“造反派”揪鬥幹部時，他始終堅持原則，實事求是，剛直不阿，不屈從於壓力，為幹部說公道話。在遇到緊急情況時，他不顧個人安危挺身而出，耐心地給群眾組織做工作，保護了不少老幹部。一天傍晚，聽說李天煥被困在清河公安部隊醫校，徐立清立即前去解圍。當時，秘書挑了四位身材高大年輕體壯的保衛幹部，準備保護徐立清，替徐立清挨打。徐立清當晚趕到清河醫校，立即在禮堂召開大會，介紹李天煥的曆史功績。就在講話的同時，他安排人員把李天煥安全轉移。一天夜裏，徐立清聽說周總理在京西賓館開會，總部機關的職工群眾組織擁進去了。為了保護周總理的安全，徐立清立即趕到京西賓館，叫人廣播說徐立清來了，在食堂接見大家，聽取意見。徐立清將亂哄哄的人群吸引到食堂進行說服工作，一直搞到下半夜，保證了周總理安全地離開京西賓館。
1967年1月12日，新的中央軍委文革領導小組成立，徐向前任組長，蕭華和徐立清任副組長，下設秘書組、簡報組、機關組、院校組和聯絡組，在三座門辦公。當時由於蕭華已被揪鬥，在徐帥領導下，由徐立清在三座門一線主持了一段日常工作。徐立清剛剛到三座門不幾天，1月20日早上，一些群眾組織衝進三座門，把徐立清抓走。徐帥聞訊，一大早即趕到三座門，把徐立清要回，並向這些群眾組織講：徐立清是好人。為了保證軍委文革領導小組正常進行工作，徐帥宣布：不準衝文革辦公室，不準隨便抓文革辦公室的工作人員。但在當時，黨的組織已陷入癱瘓狀態，領導幹部普遍被批鬥，形勢非常複雜。徐立清在徐帥領導下，想盡辦法維護和保持軍隊的穩定，但已無能為力。徐帥講話群眾組織不聽。中央文革又避而不見。徐帥和徐立清夾在中間，在三座門“作蠟”。
1967年8月，林彪“徹底砸爛總政閻王殿”的“指示”透露後，總政機關很快被“砸爛”了，徐立清被打倒了，家也被抄了。徐立清被打倒是意料中的事。“文化大革命”剛開始，林彪即放風說徐立清是賀龍的人，什麼事都向賀龍請示彙報，甚至散布說徐立清對林彪封鎖，連大單位領導幹部的配備、調銜、定級都不告訴林彪。事實是：當時林彪常在外地“養病”，賀龍元帥主持軍委日常工作，徐立清當然要經常向賀帥請示彙報，而且重大問題他都是報請軍委主席、副主席決定。徐立清去向林彪請示彙報時多被葉群擋駕，或由葉群接見，林彪不見。可是林彪卻反誣徐立清對他封鎖，無罪加罪。徐立清較長時期體弱多病，被打倒之後，醫藥也停了，經常被拉著到處挨“批鬥”、“陪鬥”，還挨過打。1968年1月，徐立清由中央“二辦”監護審查。1969年11月，對徐立清解除監護，撤銷黨內外一切職務送軍隊農場監督勞動。隨後他即被遣送山西侯馬總政幹校勞動，一個月隻發50元的生活費。在幹校勞動期間，他也不得安寧，有些群眾組織還是常常去“批鬥”、“挖材料”，使他仍受著種種折磨。直到1971年九一三事件之後，他才回到北京。
1973年底，全軍八大軍區司令調動時，中央軍委命令徐立清任濟南軍區政委。徐立清在濟南軍區工作一年零九個月，走遍了軍區部隊駐地徐州、淄博、長山島、青島、濰坊、臨沂、蓬萊、煙台、海陽、棲霞、威海、劉公島、日照、連雲港，三個野戰軍、一個省軍區、一個守備區、一個警備區和守備師、軍分區、人武部及師、團、營、連，他都親自去調查研究，指導工作，幫助解決問題。他還同軍區所在的省、地委密切配合，幫助穩定局勢，解決“文化大革命”帶來的問題，做好團結工作。
1975年1月，鄧小平出任中共中央軍委副主席。7月，鄧小平和葉劍英副主席召開中央軍委擴大會議，提出軍隊要整頓的方針。9月，徐立清奉命調回北京，再任總政治部副主任，仍主管全軍幹部工作。當時，軍隊的幹部工作被“文化大革命”搞亂了套，最突出的問題是幹部超編嚴重。徐立清回到總政工作後，積極貫徹中共中央軍委副主席鄧小平提出的以“三項指示為綱”、“軍隊要整頓”的指示，著手解決軍隊存在的“腫”、“散”、“驕”、“奢”、“惰”等五個方麵的問題。他首先抓“消腫”；二是配好領導班子；三是落實幹部政策，“解放”幹部。當時“四人幫”還在台上，繼續施展陰謀詭計，篡黨奪權，禍國殃民。由於“四人幫”的作亂，1975年底又發動了所謂“反擊右傾翻案風”運動，錯誤地“批鄧”，反對“整頓”。因此，“文化大革命”的錯誤難以糾正，軍隊“消腫”工作也停了下來，將要出現的軍隊的大好形勢遭到了更加嚴重的破壞，在此期間，徐立清同總政廣大幹部和群眾一起，采取種種方式，同“四人幫”特別是同張春橋進行鬥爭，以最大的努力保持軍隊的穩定。1976年10月，“四人幫”反革命集團被粉碎，徐立清積極投入了揭批“四人幫”的鬥爭。雖然當時的鬥爭形勢非常複雜，但徐立清堅持實事求是，主張正確處理兩類不同性質的矛盾。由於在總政機關對一些問題一時認識不一致，使他一度受到很大委曲，他的心髒也更加衰弱，不得不安上心髒起搏器。1980年1月，徐立清被免去總政副主任的職務，任命為成都軍區第二政委，6月改任第一政委兼中共成都軍區黨委第一書記。根據當時他的身體狀況，一些領導勸他注意身體，讓他掌握一下大政方針就行了，可是徐立清一到任即抓緊調查研究，忘我地進行工作。他維護民主集中製，從不個人說了算。他善於集中正確的意見，敢於負責，勇挑重擔。他堅決擁護和貫徹中共十一屆三中全會以來的路線、方針和政策，把中央的政策同軍區部隊的實際結合起來，對軍區部隊的建設作出了顯著成績。他是一位有膽識有魄力的“好班長”，兢兢業業，卓有成效地完成了黨所賦予的任務，受到了廣大指戰員的敬重和愛戴。
正當全黨全軍和全國人民貫徹中共十二大精神，全麵開創具有中國特色的社會主義建設新局麵的時候，1983年1月6日，久經考驗的忠誠的共產主義戰士、人民解放軍優秀的政治工作領導人徐立清，病逝於北京，終年73歲。
徐立清曾當選為中國共產黨第七、第八、第十一、第十二次全國代表大會代表，第十一屆中央候補委員。1977年任中共中央軍委委員。1978年任中共中央軍委人民武裝委員會副主任。在中共第十二次全國代表大會上，當選為中央顧問委員會委員。他還被選為第一、第二、第三、第四屆全國人民代表大會的代表，第三屆全國人民代表大會常務委員會委員，第三屆全國政協常委。1955年被授予中將軍銜，榮獲一級八一勳章、一級獨立自由勳章和一級解放勳章。
徐立清在長期革命鬥爭中，在社會主義革命和社會主義建設中，一貫忠實於黨，忠實於人民，忠實於共產主義事業，忍辱負重，勇於承擔艱險任務。無論環境多麼惡劣，條件多麼艱苦，鬥爭多麼複雜，他都能堅持無產階級的黨性原則，保持共產黨人的革命氣節和優秀品質。在曆史的大轉折中，他堅決地執行了黨的馬克思主義的思想路線、政治路線和組織路線。他擁護和維護中共中央和中央軍委的正確領導，服從組織、尊重同誌、重視團結、謙虛謹慎、識大體、顧大局、光明磊落、堅持原則、敢於同不良傾向和錯誤言行進行鬥爭。他嚴於律己，寬厚待人，言行一致，勇於自我批評，始終和廣大群眾站在一起，同甘苦，共奮鬥。徐立清的一生，是革命的一生，戰鬥的一生，全心全意為人民服務的一生，為共產主義事業鞠躬盡瘁的一生。
中共中央、中央軍委對徐立清的喪事非常關心，軍委主席鄧小平親筆批示，要把徐立清的治喪同當時的中共中央書記處書記楊勇的治喪通盤考慮安排，並說他要親自參加徐立清的遺體告別。1983年1月16日，胡耀邦、鄧小平等黨和國家領導人及中央、國務院、軍委、駐京部隊代表1800多人，向徐立清遺體告別。18日，在總後勤部禮堂舉行了追悼會，由楊尚昆主持，餘秋裏致悼詞，悼念徐立清。在外地的葉劍英、李先念、陳雲等黨和國家領導人，還派工作人員到徐立清家進行慰問。
中共中央軍委副主席徐向前元帥，在病中聽到徐立清逝世的消息後，萬分悲痛。他在審定徐立清的悼詞時，對徐立清作了恰當的評價，特別指出：徐立清“有功不驕傲，委曲能求全”，切中了徐立清一生的為人和高尚的品德。徐帥對部屬是了解和知心的。
徐立清逝世的消息傳出後，許多領導同誌以及和他相處過的廣大指戰員都悲痛不已。張愛萍、蕭克、傅鍾、魏傳統、賈若瑜等發表了悼念詩詞，宋任窮、王震、餘秋裏、甘渭漢、顏金生、王誠漢、鍾漢華、魯加漢等發表了《為幹部隊伍的建設瀝盡心血》、《忠貞不渝，一身正氣》、《幹部工作者的楷模》等悼念文章。張愛萍在《痛悼徐立清同誌》的挽詩中寫道：“源本立清去自清，路遙風霜不計程。惜君征途重謹慎，後繼有人慰英靈。”道出了徐立清一身清白、不計個人得失、勤懇、謹慎，為共產主義事業竭誠奮鬥的一生。
1986年清明節，在八寶山革命公墓徐立清的骨灰盒前，安放著一個小白花圈，上款寫的是：獻給尊敬的徐立清同誌；下款寫的是：反對過您反對錯了的人敬獻。一個人生前讓人尊敬容易，而在死後若幹年仍能受到人們的尊敬，尤其是受到反對過他而又通過實踐證明是反對錯了的人的尊敬和懷念，卻是非常非常不容易的。