1932年下半年，佐爾格被召回莫斯科。別爾津有更重要的任務要他去幹。按佐爾格的說法：“如果不是為了崇高的事業，我將在中國一直呆下去，我已深深地迷戀上這個國家了。”
回到莫斯科後，別爾津便把任務派給佐爾格——臥底東京，摸清日本的計劃，然後回到柏林。
為了逃避審查，佐爾格重新申請了一張德國護照，使之從履曆看來，他是從中國，而不是途經莫斯科返回德國的。同時他還準備了一些身份證明，確保不對他過去的曆史追究太多。
1933年7月，一切準備就緒。佐爾格懷裏揣著高級介紹信、記者證和嶄新的德國護照登上了旅途，他先到法國港口瑟堡，從那裏乘船經紐約到橫濱，於1933年秋天抵達東京。
佐爾格到達東京的第一件事是去訪問德國大使館。新任大使還沒上任，佐爾格受到使館高級人員的熱情接待，並與使館官員們建立了聯係。翌日，佐爾格又手持日本駐華盛頓使館給外務省情報司司長天羽榮二的介紹信登門拜訪。天羽是外務省數一數二的新聞發言人，他每周主持一次記者招待會，隻有各國駐東京的首席記者才有資格被邀請參加。
不久之後，東京小組的核心成員克勞森和大崎陸續來到東京。他們不定期地與佐爾格交換和分析情報。大崎當時已是日本的名人了，更重要的是，他的一位老同學是近衛的私人秘書，而近衛在內閣中是強有力的，他後來出任首相，兩次組閣。
佐爾格還吸收了宮木佑德作為小組的第四名成員。宮木是位善於收集情報的“藝術家”，他總是孜孜不倦地搜集各種情報。
佐爾格認為，“假若我真能在日本開始我的學者生活的話，宮木倒是位理想的助手。”
與此同時，佐爾格開始申請加入納粹黨，一年以後就得到批準。之後，他又提出申請，要求加入德國記者協會。
在佐爾格看來，作為一個外國人，即使像他那樣是個德國人，要想直接打入神聖不可侵犯的日本政界去獲取情報也是不可能的，必須從德國大使館著手。為了獲得藏在大使館保險櫃裏的絕密材料，必須博得大使的絕對信任，這就是他的主攻方向。他的信條是：不要把手伸向保險櫃，而要讓保險櫃自動打開，讓機密材料自動來到自己的辦公桌上。
1933年底，新任大使到東京上任。在此之前，佐爾格給《每日展望》撰寫的一篇有關日本的文章在德國頗受重視，大使在柏林曾仔細地閱讀過，這給大使留下了極其深刻的印象。因此，大使在起草致柏林的報告前同佐爾格交換資料和意見。
另一位給佐爾格幫上忙的便是使館武官尤金·奧特上校。佐爾格到日本後不久，便拿著奧特的一位密友、《每日展望》的一位編輯的介紹信拜訪奧特。在這種情況下，佐爾格的光臨自然受到歡迎。
由於佐爾格顯得很有教養、風趣、開朗活躍而大方，又當過兵，跟奧特一樣還上過前線，這使他倆一見如故。正像佐爾格自己說的：“這種友誼可能由於我曾經是一個德國軍人，在第一次世界大戰中打過仗、負過傷。奧特作為一名年輕的軍官也參加過那次戰爭。”
佐爾格經常給奧特提供關於日本軍事方麵的有用情報，或者是關於日本形勢的精辟見解，這充實了奧特交給柏林的彙報，增加了他的份量。由於他的幫助，奧特升了官，由助理武官升為武官，並從名古屋調到了東京。
奧特在東京定居後，佐爾格便成了他家裏的常客。佐爾格與大使及使館武官的特殊關係，使得他與使館人員的交往和大使館的關係更進一層。
1936年初，佐爾格發現日本的政局正麵臨嚴重的危機。日本軍部中的青年軍官集團勢力越來越大，他們提出“讓那些無能的政客們滾下台去。”
佐爾格一直密切注視著這一集團的行動，根據對大崎和宮木收集到的情報的分析，他得出結論：青年軍官集團正準備發動武裝政變，一切取決於2月20日國會選舉的結果。
青年軍官起事前夕，佐爾格寫了一份分析報告，在這份報告還沒送往莫斯科之前，他決定向德國大使、武官和助理武官通報此事。但他們三人誰都不相信，對佐爾格提供的情報未予重視。
2月26日清晨，武裝叛亂事件果真爆發！德國大使館陷於一片慌亂，一時不知如何處置，而消息靈通的佐爾格的威望則更高了。此後，大使和武官對佐爾格更是言聽計從。