轉眼到了第二年的10月。那時張治中在頤和園介壽堂休養，周恩來托人以黃埔軍校教育長身份，發個通知，邀請在京的黃埔同學到頤和園集會，並囑有家屬的也要偕同參加。為此，周恩來親自給陳毅大將掛電話，囑他一定偕夫人同往。19日上午，黃埔同學都興高采烈地來到了頤和園。來的人真不少：有張治中及夫人洪希厚，邵力子和夫人傅學文，屈武，陳賡及夫人傅涯，鄭洞國及夫人顧賢娟，侯鏡如與夫人李鬆芸，黃雍，李奇中，覃異之，張治中的女兒張素我及女婿周嘉彬，唐生明及夫人徐來，以及杜聿明、宋希濂、周振強、王耀武、鄭庭笈、楊伯濤等。統戰部副部長平傑三、童小鵬兩位主持。
周恩來和鄧穎超按時到達，大家起立歡迎。周恩來滿麵春風，招呼大家就座。
他對杜聿明等六人到紅星公社插隊的情況，仔細地詢問，然後對大家說：“這次集會是黃埔師生聯歡。這次文白先生在頤和園休養，趁這個機會請文白先生邀約大家來這裏見麵。大家工作得很好，我很早就想和你們談談的。”
鄧穎超也站起來說：“我和黃埔沒有關係，但我對黃埔同學也是很關心的，今天也高興和你們見見麵。”
周恩來轉而對杜聿明等六人說：“你們是第一批特赦的，要做改造的標兵。你們是特赦了。但是過去的曆史罪惡，還是客觀存在不能改變的，不能因為特赦就一筆抹掉了；而人的思想行為是可改變的。赦人不赦罪。大家要引以為戒，繼續改造自己。”
杜聿明等沉沉地點頭：“請總理放心，我們一定按照您指示去辦，繼續改造自己。”
陳賡是個天生的樂天派。有他在哪裏，哪裏就不會寂寞。會餐時，他見大家都不動筷子，就動員說：“來，我們拿出黃埔的精神，把桌上的菜一掃光！”
大家都樂嗬嗬地動起筷子。而宋希濂、杜聿明還是有些心事：宋希濂跟陳賡都是湘鄉人，當年是跟著陳賡報考黃埔軍校的，可是後來走上了兩條不同的道路；杜聿明握著陳賡的手說：“那時我們兩人同隊，思想進步，頗得你的幫助。後來一失足成千古恨，成為曆史的罪人。感謝黨和毛主席，我今天又和你團聚了。”這也是宋希濂的心裏話，經杜聿明一說，他心裏也舒坦了許多。他敬佩陳賡：真沒想到，他又給我領了條路，而且沒有一點勝利者自居的神氣和訓話式的滿嘴教條。看來，後半生還有活頭……
會餐完畢，少憩片刻，周恩來興致勃勃地問國務院的工作人員：“大家聚會不易，要留個紀念，在哪裏拍幾張照好？”
工作人員引導總理和眾人一行到昆明湖北岸的牌樓前，以巍峨的萬壽山為背景，拍了幾張集體照。周恩來又對杜聿明等六人說：“我單獨和你們照個相吧。”他叫工作人員選擇鏡頭位置，要六人站在他左右，拍完照片，他讓大家自由在園裏活動，他和張治中、邵力子幾位老人回到介壽堂休息，談話。鄧穎超則遊興未已，看到杜聿明在給別人照相，走過去說：“我的技術不好，我給你們照幾張吧。”於是她接過相機，讓杜聿明也站進隊去，選擇曲欄拱橋幾處風景，照了好幾張。
直到下午，大家才依依不舍地離開了頤和園。
經過一段時間的勞動鍛煉，1961年舊曆春節，徐冰部長宣布了任命書。任命溥儀、杜聿明、宋希濂、王耀武、周振強、鄭庭笈、楊伯濤等七人，為全國政協文史資料研究委員會專員，正式參加國家機構的工作。這個機構是周恩來創議設立的。
當他在1959年一次邀集60歲以上老年人士座談時，建議老人們為教育後代，“把親身經曆記錄下來，傳之後代”，因而建立了這個機構。每月工資一百元，當時供四口之家用綽綽有餘。有分配的公房，專員以及高幹同等享受保健。
1963年11月10日，周恩來在人民大會堂福建廳，召見溥儀、杜聿明等全體文史專員和妻子，並邀請魯迅夫人許廣平、傅作義和夫人、張治中和夫人參加，還有長春起義將領曾澤生，黃埔同學侯鏡如、黃雍等。
陳毅副總理首先致詞：“聽說大家在政協工作的熱情很高，認真負責，表現很好；加之多數人都安了家，紮了根，有所依托，這都是很好的。看來各位都是60歲左右的人了，黨和國家對各位很關心，決定讓各位在新中國裏，過一個幸福的晚年。
總理很惦念各位，特邀請各位來這裏見麵談談。總理為此打電話通知我，要我來參加。我是政協副主席，對各位也負有責任，很願意來參加這次集會，和各位見見麵。
我現在要問各位一句話，台灣放出一些流言蜚語，說各位還沒有得到真正的自由。
你們是不是真正自由了呢？不要有顧慮，可以坦率地告訴總理和我。凡是各位感到不自由之處，我們一定采取切實措施，保證各位有充分的自由。”
專員們一聽是為這事，都爭著發言：“我們的生活行動都很自由，一切統由自己安排，沒有任何人幹預，請兩位總理放心。”大家對台灣造謠汙蔑，痛加斥責。