1955年1月，張聞天告別任大使四載的莫斯科回到北京。2月1日，他正式出任外交部常務副部長兼黨組副書記，協助周恩來主持外交部部務。
和張聞天在駐外使館遇到的情況一樣，新中國外交部成立六年以來，雖然在機構上已經初具規模，在工作上也卓有成效，但是其內部規章、工作製度還存在著許多不完善之處。張聞天針對這些情況，在聽取了各方麵情況和認真考慮後，傾注了大量精力著手改進外交部的內部工作製度。
外交部機關每天上午八時開始辦公，學習文件，了解當時新聞，批閱處理電報文件。十點鍾敲響，部領導即召開碰頭會，交流、研究和處理當前的重要業務，落實中央的指示或者提出建議報告。這種辦公製度避免了公文旅行，極大地提高了決策和工作的效率。這便是張聞天著手創建的外交部每日辦公會議製度，一直沿襲到現在。除此之外，張聞天還建立了部內向駐外使館的定期通報以及請示彙報製度、對外宣傳工作會議製度以及調研工作製度等等。張聞天對外交部內部工作製度的改進，有力地提高了部機關領導水平、規範化程度和工作效率。
經過對外交部建部以來工作的回顧和總結，張聞天認為，雖然我國的外交工作取得了很大的成績，但外交部的業務水平同形勢發展和工作需要還有不少的差距。張聞天說，我們的工作隻能說大體上完成了任務，也就是說工作的主動性不夠，工作質量也還不高。因此，張聞天在1955年4月提出：“努力提高業務水平。”
為了提高業務水平，張聞天突出強調要加強調查研究工作，指出外交部的工作必須克服“領導者和調研工作脫節”，“調研工作與當前工作脫節”這兩個問題。張聞天把部內的調研工作分成三種形式：一是外事調研，即對各國情況與國際形勢的係統研究；二是臨時通報，即當前動向和臨時問題的研究；三是業務研究，即對領事、禮賓、條約、法律等專業問題的研究。對駐外使館，張聞天強調要“以當前動向為主，以駐在國為主”。對各地區司，“要加強研究時局動向，及時提出看法和對策”，“動向研究不僅限於研究某些個別具體事件，還要研究地區性全球性形勢及其發展趨向”。對各專業司，“要加強研究各種專門業務，總結經驗，使之係統化、條理化”，要“搞出一個章法來”。
張聞天尤其強調各級領導幹部要擠時間研究問題，既要考慮當前問題，又要研究重大的趨勢問題。張聞天要求各個司成立專門的研究組，並將外交部政策委員會改組成研究室，協調各單位的研究工作。他還專門倡議創辦了《外事研究》、《業務研究》兩份刊物，以促進調研工作的開展。在張聞天的組織、督促和推動下，外交部的調研工作蔚然成風，不僅有力地提高了業務水平，而且為中央的對外決策提供了大量的參考。調研工作成為外交部日常最重要的工作之一。
譯聞天對我國的外交工作充滿了信心，他指出：“國際形勢在發展，我國的外交戰線在擴大，同我國交往的國家日益增多，許多未建交的國家終究要同我們建交，聯合國終究要讓我們進去，就連美國也不得不同我們來往。”從這種長遠的戰略上考慮，張聞天認為必須加強外交戰線的基礎建設。首先，他提出要建立四個專業機構，即一所學校，一個研究所，一個出版社和一座圖書館。張聞天為這項宏大的基礎工程傾注了大量的心血。
1955年6月，張聞天提出以中國人民大學外交係為基礎，創辦一所外交學院。這項建議得到了周恩來的大力支持。張聞天親自主持籌建，親自過問幹部教師調配，校址選擇、教材編寫等工作。9月，學院終於落成。張聞天在這所學校創辦之初的頭兩年一直是它的直接領導，給予了大量的關心和支持。