彭真擔任北平市委書記後，從1948年底開始，接管北平的工作全麵展開，工作效率非常高，受到了中外輿論的讚揚，就連國民黨統治區的《新聞天地》也刊文說：“中共幹部打穩中共未來首都的基礎。接管是審慎、周到、仔細、嚴密的”，“幾乎做到盡善盡美的程度”。葉劍英南下廣東後，彭真繼續加強接管北平的各項工作，維護社會穩定，恢複發展生產，為新中國首都北京的建設與發展奠定了堅實基礎。
和平解放的北平，最初是一片戰後的混亂。美國和國民黨特務機關的活動非常猖狂，安排了大批間諜、特務潛伏下來，為他們配備了間諜工具和武器彈藥，妄圖伺機刺探情報，從事破壞活動。國民黨特務機關曾專門派遣了一批行動特務潛入北平搞暗殺活動，解放前曾在北平市長何思源家安放炸彈炸傷何思源、炸死他小女兒的台灣“保密局”特務段雲鵬，在解放初又被派回來，秘密策劃暗殺郭沫若並且刺探到了周恩來的辦公地點和毛澤東的座車牌號。在這個100萬人口的都市裏，敗兵、難民四處流散，特務、土匪橫行不法。經常發生敵特和匪徒埋地雷、打冷槍、搶劫、凶殺、投毒、放火、破壞等惡性案件，有時一天就發生幾起大案。國民黨潛伏特務、散兵遊勇和土匪不甘心失敗，到處搞破壞。不是這裏放火，就是那裏爆炸，北平的安全穩定麵臨嚴峻考驗。
彭真指出，北平這座千年古都重新回到人民手中，我們必須在很短的時間內迅速打碎舊的國家機器，建立人民政權，恢複社會秩序，安定人民生活，給人民展示一個嶄新的北京。
在彭真的具體領導下，市委常委會專門研究社會穩定工作。彭真提出當前首要任務是把敵情搞清，並具體提出了肅清反革命要“先武後文、先上後下”的方針，即先迅速抓捕搞行動破壞的武裝特務和陰謀暴動的匪徒，先清理上層反動分子，“擒賊先擒王”。建國初期北京抓捕武裝特務，影響最大的是美國間諜李安東案。
李安東是意大利人，效命於美國特務組織，他與日本人山口隆一秘密策劃，企圖在1950年國慶節慶典舉行時炮轟天安門城樓，謀害我國家領導人。倆人經過密謀，草擬了具體行動計劃，並上報到日本東京美國占領軍總部。為此，山口隆一多次跑到天安門廣場，測量了廣場周圍的地形，繪製了行動計劃圖，上麵注明了炮擊的目標和毛澤東檢閱群眾隊伍時的位置。
在彭真和中共北京市委的領導下，北京市公安機關與有關部門密切配合，成功破獲了這起特務間諜案件。1950年9月26日，正當北京大街小巷呈現出節日喜慶氣氛之時，北京市公安局、北京市軍管會采取果斷行動，迅速擒獲了李安東和山口隆一，並搜獲了大量罪證。此時，距離新中國成立一周年僅有4天時間。
彭真獲悉這一消息後，臉上露出了欣慰的笑容。
以此為契機，彭真指示公安機關打響摧毀美蔣潛伏特務組織的戰役，在北京市委的領導下，市公安部門根據地下黨和解放軍派駐北平的地下情報人員所提供的名單展開大搜捕，兩三個月內就破獲重大潛伏特務案和陰謀武裝暴動案10餘起。北平市軍管會發布限令特務分子悔過登記的布告，並頒布《北平市國民黨特務人員申請悔過登記實施辦法》，此舉沉重打擊了潛伏特務和間諜組織的囂張氣焰。
在肅清敵特、進行反動黨團登記工作取得成績的基礎上，彭真遵照中共中央關於鎮壓反革命的指示精神，1950年10月開始部署大規模鎮壓反革命的運動。彭真堅決執行中央的重大戰略決策，多次召開會議精心部署，經常聽取工作彙報，並親臨一線視察，還召集各民主黨派負責人及各界知名人士座談會通報情況，征求意見。中山公園幾次公審大會，彭真都親自主持。從1950年10月至1952年底，北京市共逮捕反革命分子3506名，大張旗鼓地分4批集中處決了反革命分子940名。在彭真的領導下，這些案件都經過反複審訊定案，並由市各界人民代表協商委員會擴大會議和市、區各界人民代表擴大聯席會議分組審議，最後報請市委審批。
由於北京市鎮反成績顯著，毛澤東決定以北京為示範，指導全國的鎮反運動。1951年5月黨中央根據北京等地的鎮反經驗召開了全國第三次公安會議，彭真到會作報告介紹了北京的經驗，毛澤東親自為會議寫了決議。