聶榮臻出任北京市市長,同時兼任北京市軍管會主任,這兩項職務與葉劍英的職務是銜接的。在此之前的1948年12月8日,中共中央和中央軍委即任命葉劍英為北平市軍管會主任兼市長。
由於軍管會對新解放的城市擔負著緊急接管任務,因此往往在解放城市之前,中共中央和中央軍委即開始了該城市軍管會的組成人選和籌劃工作。采取的組織形式和步驟是:解放一個城市就接管一個城市;中央直轄市和重要大城市的軍管會領導人由中央和軍委直接任命;省會城市及腹心地區和交通幹線上的重要城市,都由所在各省、專區的兵團、軍負責接管;其他中、小城市,則由駐該地區的師、團進行接管;各省會、專區市均成立軍管會,由所在兵團、軍的主要領導擔任軍管會主要負責人,城市接管工作均由軍管會負責組織實施。
接管北平的工作,前期由北平市軍管會主任葉劍英領導,新中國成立後,則由北京市軍管會主任聶榮臻繼續負責。
1948年12月17日,中共北平市軍管會主任兼市長葉劍英在市委第一次會議上說:“接管北平意義重大,北平是一座中外聞名的曆史文化古城,接管工作進行得如何,直接關係到共產黨和解放軍的聲望,也影響到其他尚待解放城市的接管。我們每個人都要認清自己肩上的責任。”葉劍英簡練地概括了進城初期的主要任務,即迅速肅清反革命殘餘勢力,安定社會秩序;向城市輸送煤、糧等生活必需品,保證對城市人民的生活供應;同時,要盡快組織恢複生產。
在葉劍英、彭真等領導下,北平前期的接管工作有條不紊,卓有成效。葉劍英直接組織並參加對舊政權機構的接管,2月4日,在原國民黨市政府會議廳舉行了隆重的接管北平市政府儀式,此後有步驟地接管了各區政權,先後建立起了各區人民政府。開國大典前夕,在不到半年的時間內,北平市軍管會就破獲潛藏特務匪徒策劃的各種陰謀暴動案83起,肅清職業特務6700餘名,查處流散軍人3.7萬多名。破獲製造偽鈔、盜竊、搶劫案件1.4萬多件。收繳了大批敵特電台、槍支和炸藥。北平的社會秩序和社會局麵很快走上軌道。
1949年9月8日,由毛澤東草擬的新華社電訊宣布:“北平市市長兼北平市軍事管製委員會主任葉劍英將軍奉命赴兩廣工作,擔任中共華南分局第一書記及廣東軍區司令員兼政治委員。為此,中國人民革命軍事委員會任命聶榮臻將軍繼任北平市市長兼北平軍事管製委員會主任。”11月20日至22日,此時北平已改稱北京,北京市召開第二屆第一次各界人民代表會議,會上聶榮臻被選為北京市市長,成為北京市第一任民選市長。
在新中國建立前後,聶榮臻身兼軍隊和地方的多個職務,工作異常繁忙。即使如此,聶榮臻並沒有因為兼職過多而放鬆對北京市的領導,他不僅堅持出席北京市的各種重要會議,對於重大問題常常親力而為。
聶榮臻就任北京市長之後,繼續組織完成了葉劍英在任時對城市的接管工作。就在聶榮臻當選市長的當天,北京市第二屆第一次各界人民代表會議通過了關於封閉妓院的決議。決議規定:“沒收妓院財產,以作為救濟妓女之用。”一夜之間北京的所有妓院被全部取締,千年汙垢短期內得以消除,北京市民無不拍手稱快。社會各界人士也都對共產黨、人民政府的這一舉措表示欽佩。毛澤東得知這個消息後,高興地對聶榮臻說:“你們這個決議很好,是辦了件大好事。”
接下來,聶榮臻重點進行了對北平舊政權機構及行業組織接管後的改造工作,即把原舊政權的一些主要單位,按照建立北京市人民政權的要求進行改造,其中有國民黨軍“華北剿總”係統和偽中央係統在北平的黨、特、軍、政、警等機關;有四大家族掠奪華北人民的中央、中國、交通、農業各銀行在北平分行;有作為華北交通、聯絡樞紐的鐵路、郵政、電訊等係統。聶榮臻還指揮軍管會的各專業委員會進行對口接收改造,物資接管委員會負責接收敵偽產業及公共物資財產,沒收官僚資本,直接代管屬於國家的企業;文化接管委員會完成了對清華、北大、戲劇學校等重點院校,以及電影製片廠、圖書館、故宮博物院等重要文化部門的接管和改造。
聶榮臻非常重視剛剛接管後北京市的人民生活,他經常對幹部說,我們要誠心誠意地傾聽人民群眾的意見,全心全意地為人民服務。政府的工作不是憑我們的主觀想象去辦事情,而是根據人民的需要,根據大多數人民的最高利益辦事情。凡是人民需要的,我們在今天又可能做到的,就應該馬上去做。在當時極其困難的條件下,聶榮臻帶領政府有關部門,采取各種方式將必需的生活資料供應市民,通過一係列措施,使人民生活得到穩定並有所改善,從而很快安定了民心。
1951年初,聶榮臻由於軍隊工作過於繁重,沒有精力再兼管北京市市長的工作,便向中共中央提出辭去市長職務。1月30日,中央批準了他的請求。2月28日,北京市第三屆第一次各界人民代表會議選舉彭真繼任北京市市長。