從23日開始，城內的國民黨軍隊陸續開出城外等候整編。為了表示誠意，也為了給中央軍係統的部隊帶頭，這天出城的第一支部隊是傅作義的主力部隊騎兵四師，第二支部隊是新編的一〇四軍。這以後，按傅作義的安排，中央軍係統的部隊和傅作義係統的部隊交替出城。到1月30日，除國共雙方同意留守的三十五軍二六七師（按：和一〇四軍一樣，三十五軍也是在被我軍消滅之後重新編成的）和一〇四軍一部之外，其餘各部陸續開至城外的預定地點，等候接受改編。1月31日，我人民解放軍正式進入北平，上述兩支部隊也隨即開出北平城。從23日至31日九天時間內，開出北平城的國民黨軍隊共計有25個師，20多萬人。
對於這20多萬原國民黨軍隊的改編，是和平解決北平問題後最難辦的問題之一，也是執行和平協議的基本點。早在1月22日，毛澤東在給林彪、羅榮桓和劉亞樓等人的電報中就專門強調說：
北平20餘萬敵軍出城改編，你們須令各兵團、各縱隊首長均看作一件大事，全軍緊張地周密地在你們的統一指揮下對付這一個大事件，達到完滿地處理此事件之目的，務必不要有輕敵疏忽之觀點。
在經過雙方的多次研究之後，2月21日，平津前線司令部專門召開了改編會議，林彪、羅榮桓、聶榮臻、劉亞樓、譚政全部到會，傅作義方麵由郭宗汾到會，國民黨軍的所有師以上軍官全部參加。在會上由陶鑄宣布了最後達成的改編方案：
（一）原屬“華北剿總”的第九、第四兩個兵團和8個軍部的領導機構，應全結束，其所有的工作人員和直屬部隊，分別編入人民解放軍平津前線司令部與各兵團部及各軍部；其所屬的25個師，則改編為人民解放軍獨立師，各特種部隊則與解放軍的特種部隊合編。
（二）原國民黨部隊中的政工人員，願留解放軍工作的，須經過訓練，再行錄用。
（三）原國民黨部隊各級軍官凡接受解放軍分配工作的，其本人和家屬，均按解放軍各級幹部和家屬享受同樣待遇。
（四）原國民黨部隊軍官中願意學習深造的，按其工作職位與文化程度，分班組織學習。學習期間其待遇與在職幹部相同。
（五）國民黨軍官中願意回家的，按以下規定處理：
（1）回家軍官一律按原薪發給3個月月薪。（2）由平津前線司令部發給車票，在解放區沿途供給食宿（包括家屬在內）。（3）除不許攜帶武器及公用資財外，一切私人財物均可全部帶走。（4）回家的國民黨軍官，可按其現有職務與需要，酌許帶一二名護兵同行。（5）凡在解放區居住的國民黨軍官，回家後可分得應有的一份土地；如其本人是地主家庭，則其土地財產，已分與未分，均按土地法大綱第8條之規定處理。至於其本人，隻要遵守民主政府一切法令，其過去對於農民的行為如何，一概不加追究；已回家的國民黨軍官，一律發給“參加北平和平解放證明書”，以後願來解放軍工作，仍然受到歡迎。
陶鑄宣布了改編方案之後，林彪和羅榮桓都講了話。最後由劉亞樓宣布改編部隊新的指揮關係與供給關係，頒發了25個獨立師的新番號，將這25個獨立師分別編入了我東北野戰軍和華北野戰軍各兵團中各軍的編製序列。
2月26日，平津前線司令部正式給參加和平改編的原國民黨軍隊30名軍官發布了任命書，任命他們為中國人民解放軍的兵團、軍、師三級幹部，其中，被任命為兵團和軍級幹部的有：李士林為十三兵團副司令員，葛晏春為十九兵團副司令員，鄭世通為三十八軍副軍長，孫學仁為三十九軍副軍長，張輯成為四十二軍副軍長，鄭邦捷為四十四軍副軍長。
根據上述改編的原則，我軍派出了大量政治工作幹部到國民黨各受編部隊，進行了大量卓有成就的工作，使這些部隊逐步改造成為人民解放軍的一部分。
在對這些部隊的改造過程，一般來說還是比較順利的，但是也出現
過一樁惡性事件。這就是傅作義的警衛團衝擊當時毛澤東和黨中央所在地香山。
黨中央機關進入北平之後，為了安全，沒有住在城內，而是暫時住在北平西郊的香山。毛澤東則住在香山的雙清別墅。當時為了保密，住在香山的中央機關，對外叫做勞動大學。但是時間稍稍一長，北平就有不少人知道了香山住著毛澤東和黨中央。
根據和平協議，我軍給傅作義留下了一個警衛團，這個團就駐在翠微路。雖然我軍給這個團派了政治工作人員，但由於是將一個整團留了下來，其中的人員不免就相當複雜，其中不僅有少數頑固分子，還有個別國民黨特務。1949年4月初的一天，這個團中的少數人竟然煽動了兩個營起來鬧事，而且準備要衝擊香山，找黨中央為他們解決問題。這一情況傅作義還不知道時，就由我軍派到該團的政治工作人員緊急向上級作了報告。周恩來得知這一情況後，立即要聶榮臻緊急處理。聶榮臻當即命令負責警衛北平的獨立二〇八師派出一個團趕到城西，接受任務。具體任務由華北軍區作訓處長唐永健布置，並由唐永健指揮。與此同時，在中央辦公廳警衛處長汪東興的指揮下，香山的警衛部隊也做好了準備，特別是毛澤東身邊的警衛排，在排長閻長林的領導下，更是做好了警戒。
唐永健帶著一個團在夜間突然包圍了傅作義警衛團的駐地，然後由我軍派到警衛團的政治工作人員給在軍營中的各級軍官說明情況，讓他們立即繳械。在我軍的壓力下，警衛團被迫交出了武器。然後，唐永健又在北平衛戍區糾察總隊的配合下，將住在家中的警衛團團長抓了起來。
這一幹脆利落的行動很快向周恩來作了彙報，周恩來又向毛澤東報告了這一情況，得到了毛澤東的批準。當然，這事也就惹怒了傅作義。
傅作義到北平軍事管製委員會找軍管會主任葉劍英論理時，甚至氣憤得拍起了桌子。葉劍英和華北軍區政治部副主任蔡樹藩給傅做了多方解釋，又讓唐永健把當時的情況做了詳細說明。最後，傅作義也同意了這樣的意見：在當時的情況下，留下一個全副武裝的整團在北平，無論是對於傅作義本人，還是對於北平的安定，都沒有好處。因為在這樣的一個團內，什麼樣的人都可能有，而被蔣介石特務收買的情況就更有可能發生。在北平，在解放區中，要對傅作義的安全起到真正的警衛作用，還是要靠人民解放軍的衛戍部隊。但是，出於傅作義的習慣和方便，傅作義可以一個一個地選擇，選出他手下幾十個絕對可靠的衛士作為他的貼身侍衛。
事後，傅作義選了35個貼身侍衛，由北平衛戍區給配備了優良的武器。準備衝擊香山的那兩個營，全部被解散，進行清理學習，然後重新分配。這以後，當傅作義到香山見毛澤東時，還就此事當麵向毛澤東做了解釋和道歉。