1949年10月中旬，黃克誠離京趕赴長沙。到了湖南之後，他就開始著手發展湖南經濟，安定社會秩序，解決境內國民黨殘餘部隊及湘西匪患。黃克誠有了想法之後，就雷厲風行地展開了工作，首要的事情就是要解決湘西地區的匪患。
1950年1月，以黃克誠為首的湖南省委召開了黨代會。會議分析了湖南地區的形勢，提出了1950年的工作任務：堅決、徹底地肅清反動殘餘的土匪特務武裝，有步驟地進行反封建的社會改革、消滅封建勢力的政治統治和封建的經濟剝削，開展生產節約、救災備荒運動。會議上還指出：剿匪是當前中心工作的中心環節，不解決土匪問題，任何社會改革、生產建設都無從談起。特別是湘西，剿匪更加緊迫和重要。
為此，在黃克誠的領導下湖南省軍區製定了周密的剿匪計劃：第一步消滅最猖狂、最反動的大股土匪；第二步消滅盤踞一地觀望待機的小股土匪。隨後，四十七軍發布了剿匪動員令，號召全體指戰員發揚英勇頑強的作風，堅決消滅湘西土匪！
1950年春，剿匪部隊相繼進入湘西。剿匪第一仗是“八麵山之戰”。八麵山的山頂是塊平地，四周是懸崖峭壁，僅有岩梯可以上山，地勢易守難攻。為了攻克八麵山，部隊研究了多套進攻方案，經過多次的刻苦訓練，攻山戰鬥終於打響。我軍巧妙地繞開土匪嚴密把守的隘口，從懸崖峭壁上攀上山頂。出其不意地攻上了八麵山，攻占了土匪的司令部，全殲八麵山的土匪。
到1952年，剿匪部隊在上級領導的正確指揮下，英勇奮戰，共消滅土匪20多萬人。湖南剿匪鬥爭取得勝利，湘西土匪被根本清除。
1952年8月。黃克誠奉中央調令，回京工作，擔任中國人民解放軍第三副總參謀長和總後勤部長兼政委。
黃克誠先到總後工作，除抗美援朝的保障工作外，還要麵對全軍後勤的重擔。每天都有許許多多亟待解決的問題，黃克誠看到工作有點忙亂，就和其他領導同誌研究方法，迅速地改變這種狀況。
此後，聶榮臻代總長要黃克誠到總參去上班，幫助處理日常工作。於是，黃奉命前去，但那時仍兼總後的工作。當時，部隊刮“單一首長製”風，出現了削弱政治工作的情況，中共中央秘書長兼國務院副總理鄧小平知道情況後，明確指示：“我們的軍隊是靠黨的絕對領導，靠毛澤東建軍思想和政治工作打勝仗的。”要求堅持中國共產黨的領導製度，抵製照搬蘇軍“單一首長製”。
1953年，彭德懷、黃克誠著力準備軍事係統黨的高幹會議，他們也在思考著如何解決中國共產黨對軍隊的領導製度問題。9月中旬，彭德懷、黃克誠一致認為在領導製度方麵，從曆史經驗和優劣得失上看，集體智慧和個人負責都必不可少，應該把黨委製、政委製和首長製的優點繼續保持下去。黃克誠明確提出：“應該是黨委集體領導下的首長分工負責製。”
後來，彭德懷、黃克誠在聽取東北軍區政治工作情況彙報時，經過商定，首次明確提出人民解放軍的領導製度，應當是黨委集體領導下的首長分工負責製。軍事工作由軍事首長決定，政治工作由政治首長決定。9月間，中央軍委辦公廳主任蕭向榮根據彭德懷的指示，著手起草發給各大單位黨委的討論提綱中明確提出：目前我軍同時存在的黨委製、政委製和單一首長製，應根據我軍的曆史傳統、建軍經驗及目前的具體條件，明確規定為“黨委統一的集體領導下的首長分工負責製”。10月5日，彭德懷就這一提法寫信請毛澤東審批。毛澤東當天批示“照辦”，從而肯定和批準了黨委統一的集體領導下的首長分工負責製。不久，《政治工作條例》經中共中央和毛澤東批準頒發，教條式地照搬蘇軍“單一首長製”的企圖和做法，被明確地否定了！
1954年，全國人大任命彭德懷為國務院副總理兼國防部長，聶榮臻離開了總參，黃克誠被任命為國防部副部長，仍兼副總長，負責軍委和總參的日常工作。11月，中央成立由12人組成軍委會，毛澤東為軍委主席。毛澤東召開了第一次軍委會議，正式把軍隊工作交給彭德懷主持，彭德懷任常務副主席，重大問題則由軍委開會決定，報中央及主席批示。黃克誠雖然不是軍委委員，但因為他擔任了秘書長的職責，幫助彭德懷做日常工作，成為彭德懷的主要助手。
1957年9月23日，中國共產黨八屆三中全會決定：中國共產黨對軍隊實行“雙重領導製度”，並確定由總政治部代中共中央起草一份關於實行這一製度的文件，此事由總政治部主任譚政負責。文件定稿之後，譚政邀請黃克誠與北京軍區司令員兼北京市委副書記的楊成武，到他辦公室座談討論。黃克誠在這次座談會上首先發言，表示擁護中共中央實行中國共產黨對軍隊雙重領導的決定。最終，經過黃克誠、譚政、楊成武三人協商敲定的“討論稿”，磨礪幾個月，數易其稿後，於1958年4月8日正式頒發全黨全軍執行。