1949年1月31日，中國人民解放軍第四野戰軍14兵團所屬第41軍，奉命首批從西城區西直門、德勝門、複興門入城接管北平防務，千年古都北平宣告和平解放。2月1日，聶榮臻與林彪、羅榮桓一起進入北平，住進離天安門不遠的北京飯店。為了慶祝北平和平解放，聶榮臻建議搞個入城儀式，向北平市民展示解放軍的光輝形象和威武英姿，建議得到林彪、羅榮桓的讚同，並獲中共中央批準。
根據聶榮臻的指示，入城儀式由平津前線司令部負責籌劃，具體入城路線由第四野戰軍擬定。參加入城式的第四野戰軍14兵團41軍，就是遼沈戰役塔山阻擊戰中留下赫赫英名的英雄部隊，第四野戰軍參謀長劉亞樓擔任入城式總指揮。
按照預定計劃，第41軍的121師和特種兵6個團參加入城儀式。接到命令後，部隊立即組織開赴南苑機場集中訓練。當時社會治安形勢複雜，為防止特務破壞，聶榮臻要求入城式的具體時間和地點都要嚴格保密。
2月3日，農曆春節剛過，北平的天氣很冷，呼嘯的北風不時從樓宇間吹過。聶榮臻懷著喜悅而激動的心情，以平津衛戍區司令員的身份，和平津前線司令部司令員林彪、政治委員羅榮桓、中共北平市委書記彭真、北平市市長葉劍英等領導人一起，興致勃勃地登上前門箭樓，檢閱參加儀式的人民解放軍入城部隊。
上午10點，入城儀式正式開始。聶榮臻看到，英姿颯爽的人民解放軍穿著整齊的軍裝，邁著矯健的步伐，從永定門入城，沿著北京古老的中軸線，向著前門大街一路走來。入城隊伍以掛有毛澤東、朱德肖像的彩車為前導，各路方隊以強大、威武的英姿向前門駛來。許多汽車上都插著鮮豔的紅旗，在呼呼的北風中颯颯做響。行駛在前麵的裝甲車引領著車隊一條線似地列隊前進，過了珠市口就是前門大街，車隊被歡迎的群眾圍了起來。學生們爬上裝甲車貼標語，標語貼完了，就用筆在炮筒上寫。最後，戰士們的身上也被寫上了標語：“慶祝北平解放！”“歡迎解放軍！”“解放全中國！”全城200多萬群眾走上街頭，夾道歡迎。人們揮動著彩旗，高呼口號，歡聲笑語響徹北平上空。
參加入城儀式的當天，聶榮臻與薄一波聯名簽署了《平津衛戍司令部布告》。布告明確指出：一切反共、反人民、反民主的反革命黨派，均屬非法組織，要立即解散，停止一切活動；一切殘餘敵軍、散兵遊勇、土匪武裝，應立即向警備司令部、公安局繳械投誠，收繳所有國民黨政府文武官吏、保甲人員的槍支及其他民間槍支。布告還明確規定，嚴禁破壞工廠、倉庫、公共建築、交通設施以及搶劫、偷盜、放火、暗害、造謠等一切破壞活動。布告要求中國人民解放軍全體軍政人員，嚴格遵守人民政府法令，遵守三大紀律八項注意和有關的入城守則。