毛澤東指示：“我們曆來主張慎重初戰，這次閱兵也是初戰。開國第一次嘛，告訴同誌們，一定要搞好，不許搞壞。”
毛澤東的指示更使聶榮臻感到肩上的責任重大。有著豐富作戰經驗的他，深知從前線打仗轉到在直線加方塊的操場上走隊列，對於流血負傷、戰功累累的指戰員們來說，無疑是一次新的嚴峻考驗。他說：“我們這支軍隊走過雪山草地，從金沙江到黑龍江，從長白山到南海邊，英勇作戰，一往無前，用鮮血和生命換來了今天的勝利。在這次閱兵中，我們一定要展示出這種精神風貌，讓領袖和人民檢閱一支軍姿莊嚴、儀容威武的新型軍隊。”
他後來也在回憶錄中說，建國前後他“很是忙了一段時間”。部隊入城之後，聶榮臻首先抓了穩定華北的兩件大事：一是迅速改編國民黨軍傅作義部20萬起義部隊，二是剿滅土匪，根除匪患。北平的社會治安狀況，幹係重大，影響極大。
在聶榮臻卓有成效的領導下，這兩件大事進展順利並大獲全勝。僅僅半年時間，北平人民就第一次享受到了和平與太平的幸福。聶榮臻還沒有喘口氣，毛澤東又指名道姓，讓他擔任開國大典閱兵總指揮。
開國大典的安全工作十分重要。北平解放不久，城內潛伏特務難以一下肅清，而且國民黨飛機還不斷襲擾。1949年5月4日，國民黨就從青島派出6架B24型轟炸機轟炸南苑，投彈30枚，毀傷我飛機4架，房屋196間，死傷24人，因此聶榮臻一直十分重視防空問題。人民空軍還未正式組建，軍委航空局專門在南苑機場組建了一個飛行中隊，擔任北平防空。聶榮臻考慮很細，下令萬一敵機前來，在場人員一定要原地不動，不能亂跑，聽從指揮，對受閱的1000多匹戰馬也都作了安排。
這段時間，聶榮臻經曆了他一生中最繁忙的時期。身兼數職的聶榮臻感到分身乏術。由於新中國成立在即，他隻好把主要精力集中在開國大典上，集中在開國閱兵上。當他走上閱兵總指揮這個崗位時，距離開國大典隻有50天時間。受閱部隊的選調和編組、閱兵程序和訓練等等，都還沒有最後確定下來，都需要他親自拍板，心裏非常著急！他多次主持召開閱兵工作會議，聽取受閱部隊的情況彙報，陸軍受閱部隊陸續到位，分別集結於北平郊區北苑、豐台等地，進行受閱前的針對性訓練，他還多次到先農壇、北苑、黃寺等受閱部隊營地指導訓練。天安門前的閱兵預演，他更是親臨現場指揮。
激動人心的時刻終於到了。1949年10月1日中午，聶榮臻匆匆吃了幾口飯，就去檢查受閱部隊。林伯渠宣布典禮開始，軍樂隊高奏國歌，毛澤東莊嚴宣告：“中華人民共和國中央人民政府已於本日成立了！”
開國大典的重頭戲拉開大幕，在聶榮臻總指揮的陪同下，朱德總司令檢閱各兵種部隊。看著受閱部隊井然有序地通過天安門前，聶榮臻深深地吸了一口長氣。在這萬人歡騰的節日裏，沒有誰比他的心情更緊張了。現在，他終於勝利地完成了這個神聖而艱巨的任務，心裏比剛剛打完一個大勝仗還要舒暢。但他沒有留下來觀看群眾遊行，而是回到慶王府寓所睡覺去了。這幾個月來，他實在太累了！