1949年9月21日至30日，新中國召開政協第一屆全體會議，決定新中國的首都定在北平，並改名為北京。此時，黨中央已作出調葉劍英南下的決定，葉劍英短暫的北平市市長任期就此結束。葉劍英的職務由聶榮臻接任，聶榮臻成為新中國成立後的第一任北京市市長。
葉劍英早在8月份就已確定調華南工作，根據毛澤東的指示，南下廣東任華南分局書記兼廣東省人民政府主席和廣州市市長，9月初就前往江西贛州了。中央任命聶榮臻為北京市市長、北京市軍管會主任時，他可謂身兼數職，同時擔任中共華北局第三書記、中國人民解放軍副總參謀長、華北軍區司令員、平津衛戍區司令員。
1949年6月，中國人民政治協商會議籌備會議決定，10月1日在北京天安門廣場舉行開國大典，閱兵和群眾遊行是主要內容。8月，中央軍委正式下達開國大典閱兵通知，並決定了參加閱兵的各個方隊。可是，誰來擔任這個“閱兵總指揮”呢？開國之初，人民解放軍兵強將廣，帥才眾多，有多個人選能擔此重任。毛澤東征求周恩來、劉少奇、朱德、任弼時等人意見，大家不約而同地說出同一個名字：聶榮臻。
為什麼黨中央要將開國大典閱兵總指揮的重任交給聶榮臻呢？
在開國十大元帥中，聶榮臻是在毛澤東身邊工作時間較長的一位，他長期在毛澤東的直接領導下工作，毛澤東信任、器重他，尤其看重他“老實、厚道”的性格和勤勉、務實的工作作風。
在人民軍隊的征戰史上，記錄有3次極為重要的武裝起義——南昌起義、廣州起義和秋收起義。在這3次起義中，聶榮臻就親身經曆了南昌起義和廣州起義的血雨腥風。
長征途中，聶榮臻出席了中共曆史上具有重大轉折意義的遵義會議。他在會上堅決支持毛澤東的正確意見。遵義會議後，聶榮臻在毛澤東指揮下，與林彪率部四渡赤水，巧渡金沙江，擺脫了敵重兵的圍追堵截。
在決定紅軍長征最後落腳點的關鍵時刻，又是聶榮臻發揮了關鍵作用。聶榮臻率部作為先遣隊，越過大草地，攻占臘子口之後，乘勝占領哈達鋪，他命令偵察員去買些鍋盔回來。鍋盔就是當地人做的一種大燒餅，有臉盆那麼大，吃著很香，也便於攜帶。偵察員把身上所有的錢都掏了出來，買了4個香噴噴的大鍋盔，用一張國民黨的《山西日報》包著就跑了回來。聶榮臻邊吃鍋盔邊看報紙，發現上麵載有一條閻錫山部隊進攻陝北紅軍劉誌丹部的消息，便抬起頭來對林彪說，趕緊派通信員把這張報紙給毛主席送去，陝北還有一個根據地哩！這真是天大的喜訊！毛澤東根據這張《山西日報》上提供的消息，決定挺進陝北蘇區，從而結束了曆時一年、行程二萬五千裏的長征。
聶榮臻在中國革命的關鍵時刻，發揮了令人矚目的關鍵作用。把他選做閱兵總指揮，可謂眾望所歸。
這位南征北戰、戎馬倥傯的武將，具有一種不尋常的將帥風範。即使在硝煙彌漫的崢嶸歲月裏，他也一絲不苟地注意著自己的儀表，綴滿補丁的舊軍服整潔、幹淨，風紀扣扣得嚴嚴實實，神清氣爽，儒將氣質，武將雄風。他率領的部下無一例外地具有良好的軍人素質。部隊入城後，中南海的警衛戰士一聽見聶榮臻咳嗽，就趕緊下意識地整理軍裝。由於將帥的言傳身教，以身作則，使得進入北平的人民解放軍受到了市民的熱烈擁戴和愛護，與先前國民黨的隊伍形成了截然不同的對比。因此，黨中央將閱兵總指揮的重任交給聶榮臻，真可謂慧眼識英才。