1934年10月，紅軍開始長征，潘隨隊出發，次年1月，黨中央又秘密派他去莫斯科，和陳雲一道同共產國際聯係。1936年，潘漢年奉命回國，與陳立夫、陳果夫洽談國共合作事宜。西安事變後，國共關係出現新的轉機，潘漢年成為不可缺少的牽線人。
在複雜的革命鬥爭中，他與毛澤東、周恩來建立了很深的交情。周恩來與他曾多年朝夕相處，親密自不待言；毛澤東自長征開始，行軍宿營時常常與他交談，也像特科時同誌們那樣地叫他“小開”。1945年，潘漢年和妻子、戰友董慧來到延安，在楊家嶺他們見到了毛澤東。毛澤東非常高興，毛澤東和江青還專門宴請了他倆。毛澤東一見到董慧就親切地說：“我記起來了，你就是當年和江青同學的董慧，那時，我表揚你說：董慧同誌是我黨情報戰線上最優秀的女戰士，還記得吧？”
當年也有過一件事情，饒漱石抓住潘漢年“違反紀律”不放，還是毛澤東親自指示劉少奇和康生給饒漱石發了電報，平息了那場糾紛。
全國解放之初，毛澤東、周恩來電召潘漢年進京。毛澤東派他去熟悉的上海工作，臨行前，周恩來特別交代：“上海即將解放，中央決定派陳毅去當市長，你要當好陳毅的助手，做好各方麵的工作。”
人們知道，潘與高、饒的關係並不好，包括上海市公安局副局長楊帆，他是潘漢年的老戰友，他與饒漱石在新四軍軍部工作時也產生過矛盾和鬥爭。按照這樣的邏輯，他們應該為高、饒的敗露而高興。可出乎他們意料的是，1955年的元旦剛過，楊帆去北京開會時，被逮捕關押；這年4月，潘漢年也在北京參加全國人代會時，由公安部長羅瑞卿親至北京飯店秘密逮捕了。這就是毛澤東親自定的“共和國第一大案”，即駭人聽聞的“潘楊案”。
事情怎麼會發展到如此地步呢？
在“高、饒事件”開始被揭露的時候，因上海在留用原特務人員方麵有過失誤，此事又是經饒之手批準的，楊帆被停職檢討；在黨代會上，毛澤東說過，凡是受高、饒影響以及有某些牽連的人，都應當主動把問題向中央說清楚。會上還沒有來得及講的，或是不想在會上講的，會後還可以再想一想，寫成材料。現在把問題講清楚，我們一律采取歡迎態度。潘漢年在參加會議期間，心情一直不大好。一方麵，會議印發的有關饒漱石、楊帆在上海公安工作中的問題，已經被當作了他們罪狀的一部分。他既是上海公安工作的重要參與者和領導者之一，就已在事實上和饒漱石、楊帆的問題有所牽連了。另一方麵，他自己1943年被國民黨特務李士群、胡均鶴強拉去會見汪精衛一事，由於種種原因，至今還一直沒有向中央說清楚。多年來這是積壓在他胸中的一塊心病。現在胡均鶴已因上海公安工作中出了問題被逮捕審查，會見汪精衛一事再也不能拖延不向中央做出交代了。會議結束的第二天，他向擔任上海代表團團長的陳毅詳細談了自己12年前在李、胡挾持下會見汪精衛的經過，並說明這麼長時間沒向組織上說清楚的原因。同時將自己所寫的一份事情經過和檢討材料交給陳毅。陳毅也覺此事重要，答應馬上向中央彙報，勸他思想不要緊張。4月2日，陳毅親赴中南海，直接向毛澤東報告了潘漢年昨天向他所談的一切，並將潘漢年的那份材料交給毛澤東。
正是在當天，毛澤東做出了立即逮捕潘漢年的決定。
後來雖經李克農明確提出5條反證材料，對案件加以質疑，可惜未能引起決策者的應有注意。其實毛澤東並沒有忘記潘漢年，但是錯誤地認為他“罪行極為嚴重，論罪當殺”，隻是做了寬大處理。他在七千人大會上專門講到：“有個潘漢年，此人當過上海市副市長，過去秘密投降了國民黨，是一個ＣＣ派人物，現在關在班房裏頭，但是我們沒有殺他。像潘漢年這樣的人，隻要殺一個，殺戒一開，類似的人都得殺。”根據毛澤東的指示，最高人民法院於1962年1月9日開庭宣判：“判處被告人潘漢年有期徒刑十五年，並剝奪政治權利終身……服刑期滿後，交由公安機關管製。”
27年後，還是從李克農所提供的反證材料入手，才最終糾正了這一錯案。
這時，潘漢年及其夫人董慧早已分別於1977年和1979年相繼離世，潘漢年的骨灰裝在一隻瓦罐裏埋葬在長沙火葬場……“潘、楊事件”發生後，與高、饒有過較多工作接觸的同誌不免有些緊張。
周恩來還是盡量多做工作。全國黨代會後，他去哈爾濱，發現當地幹部都有一些恐慌。他就耐心地說服：“你們不要心有餘悸，你們跟高崗是工作關係嘛！放下包袱，輕裝上陣……”有空的時候，他就找幹部談話，穩定他們的思想情緒。
而這一年，周恩來開始更多地走向國際，走向世界談判桌，擔負起毛澤東托付的重要外交使命。