日內瓦會議期間，張聞天參與了中美外交接觸的活動，這一接觸奠定了此後曆時15年的中美大使級會談的基礎。張聞天還參與了和英國達成互換代辦協議的談判，從而實現了與英國的“半建交”。會後，張聞天陪同周恩來訪問了民德、波蘭等社會主義國家。11月，張聞天作為中國政府觀察員出席了莫斯科“全歐會議”。1954年冬，張聞天受中央的委托，完成了與南斯拉夫建交談判的工作，使中南兩國在1955年1月實現了建交。
張聞天在莫斯科大量的工作還包括對中蘇兩國間文化交流的管理。這其中最突出的是對中國留學人員的關懷和管理。張聞天十分強調政治問題。針對留學人員中存在的各種思想問題，張聞天強調要守紀律，要安心學習，鑽研學業，要同蘇聯人民友好。張聞天專門建議在使館建立“留學生管理處”，親自指示把館內一個倉庫騰出來作為留學生聚會的場所。他還經常前往各地學校看望留學人員。他指示成立中國留蘇學生總會，親自推薦當時正在莫斯科動力學院學習的李鵬任主席。在他的領導下，中國駐蘇使館成了中國“留學生之家”。對於國內派到蘇聯的各種代表團，張聞天也經常注意關心。1954年夏，總政歌舞團訪蘇，準備將《斯大林頌》和《東方紅》作為開幕曲，蘇聯方麵對《斯大林頌》表示異議。張聞天注意到斯大林去世後，蘇聯已經出現反對個人迷信的跡象，便建議用兩國的軍歌代替這兩首曲子。當時有人對取消《東方紅》節目表本不理解，張聞天就請示了中央。中央同意張聞天的意見。毛澤東後來還表揚了這個做法，並且說：“我就不願聽《東方紅》。”
使館的內部建設是張聞天到任之初所做的第一項工作。新中國的外交工作開展之初，很多內部機製還不健全，相當多的工作人員都是“新手”，在對外交工作的認識上也存在著許多不正確的傾向。不少同誌認為外交就是迎來送往的禮節性工作，還有很多同誌在遠離家鄉的異國感到十分寂寞無聊。有些同誌發牢騷，說大使館就是“大使”的“公館”，是大使養病休息的地方；甚至說使館隻要四個人就夠了，因為四個人便可湊一桌麻將。
張聞天看到這些問題後，馬上召開全體工作人員會議。在講話中，張聞犬首先要求全體人員端正對外交工作的認識，提出了外交工作的三大任務：首先，要增進與蘇聯人民的友誼；其次，要加強自身的政治與業務學習；第三，要加強對所在國及國際形勢的調研與分析。為了貫徹這三項任務，張聞天在中國駐外使館中率先建立了專門的研究室，製定了調研計劃，並且親自參與和領導調研工作。在他的領導下，駐蘇使館很快呈現出熱烈的學習和研究局麵，向中央和國內發回了大量有價值的建議和報告。張聞天總是要求大家在實際工作之餘注意觀察和思考全局性的問題，因而駐蘇使館發回的許多報告，如《關於朝鮮停戰的和談問題》、《關於東方的“洛迦諾協定”》（針對印支問題），都帶有很強的預見性。
1951年7月25日，張聞天受中央和外交部的委托，以外交部駐歐特派代表的身份對我國駐波蘭、民德、捷克、匈牙利、羅馬尼亞、保加利亞六國的使館（民德當時稱使團）進行了視察。張聞天每到一處，都深入了解情況，聽取各方麵意見，並且結合駐蘇使館建設的經驗，談自己的看法和意見。結束巡視後，張聞天給外交部提供了一份4000字的報告，獲得了一致的讚揚和肯定。
張聞天對六國使館的巡視，極大地促進了各使館工作的提高。當時任匈牙利大使的黃鎮後來回憶道，我們本來不清楚使館工作應該怎樣做，聞天同誌來巡視，幫助我明確了應該往什麼方向努力。耿飆同誌回憶道，當自己去瑞典赴任途經莫斯科時，張聞天找他談話，說大使的工作重點是調研，不要陷於事務，不要隻注意搞禮賓，調查研究駐在國情況和國際關係是使館的一項根本任務，也是做好其他工作的基礎。耿飆總是十分深情地說，自己從張聞天那裏得到了“許多有益的教誨”。