日本政界緊緊關閉了對外國人的大門，對所有外國人的戒心，使外國人從日本搜集情報很困難，隻能無功而返。
佐爾格從德國大使館入手。由於德國與日本的密切關係使德國使館就像巨大的情報庫，有用之不竭的情報。
為了得到大使館保險櫃中的絕密材料，必須贏得大使的信任。德國使館武官歐根·奧特上校是佐爾格的攻克對象。佐爾格到日本後，拿著《每日展望》的一位編輯的介紹信拜訪奧特。這位編輯在信中讚揚了佐爾格的能力，認為佐爾格絕對忠誠可信，是個難得的人才。
奧特擔負搜集日本情報的任務，負責向德國提供高質量的情報報告。奧特在這方麵的能力不足，他寫的報告內容空洞，根本不受柏林的注意，前程一片黑暗。
39歲的佐爾格的到來幫了他的大忙，給他帶來了希望。40歲的奧特認為佐爾格素質高，富有教養、開朗活躍。奧特與佐爾格的年齡接近，屬於同一代人，使他們的交情很容易得到進一步的發展。
佐爾格在第一次世界大戰中在德軍中當過兵，負過傷。奧特作為一名軍官也參加了第一次世界大戰，這使他們一見如故。
1933年底，迪克森成為德國駐日大使。在德國時，迪克森曾經讀過佐爾格給《每日展望》寫的一篇關於日本的文章，這篇文章在德國受到重視。
後來，迪克森又得知，德國外交部對日本的政治狀況作判斷並不是根據大使館的例行報告，而是參考佐爾格所寫的報道。
為了提高報告的質量，迪克森決定利用佐爾格的文筆，在起草致柏林的報告時加入佐爾格的意見，迪克森經常事先與佐爾格就各方麵的情報進行廣泛的交流。佐爾格以大使的高級顧問身份出入德國大使館。
佐爾格的間諜工作的最大特點就是取得敵人的信任，通過敵人交給的任務來完成間諜工作。為了贏得敵人的信任，佐爾格采取各種手段。他加入了納粹黨，利用1936年2月26日發生在日本的未遂政變事件，在德國產生巨大的影響，鞏固了他的地位，取得了迪克森的寵信。
當時，日本大選剛結束，青年軍官支持的“政友會”在日本議會中隻得到5個席位。“政友會”代表日本軍界中的好戰分子，主張與德國簽訂盟約，盡快入侵蘇聯。在荒木和真崎的密謀下，青年軍官們發動了政變。
2月底的東京天寒地凍，冬霧彌漫。東京街頭的槍聲和荷槍實彈的士兵使人不寒而栗。叛亂的軍官們帶兵衝向首相官邸，首相藏在避難所裏，逃過追殺。
前首相齋滕實、大藏相高橋是清、教育總監渡邊錠太郎等人成為叛亂者的犧牲品。叛亂者占領首相官邸、陸相官邸、陸軍省、警視廳及附近地區，準備建立軍政府。
《朝日新聞》是日本很有影響的報紙，為了控製輿論，叛亂軍官帶兵衝入編輯部，尾崎秀實給佐爾格打電話通知發生的情況。叛亂軍官命令所有的編輯原地不動，封鎖消息。他們還攻占了郵電局、電話局、電報局和警察局並發出最後通牒，要求“解散議會”，“吞並蘇聯”、“任命真崎為關東軍司令”。
佐爾格來到編輯部，守衛的日本兵對德國人十分友好。
希特勒對這一切並不知情，急於在政治上做判斷。德國大使迪克森對這次政變一無所知，對2月26日發生的事件弄不清楚，無法向柏林報告。這時，佐爾格向《法蘭克福時報》發表了題為《東京發生軍事政變》的文章，解開了所有的疑團。
這場叛亂幾天後被平定，15名叛亂軍官被絞死。佐爾格的判斷得到證實，佐爾格要求對這一“事件”進行分析，迪克森拿出了德國秘密文件給他看。就這樣，佐爾格利用這次未遂政變事件提高了自己的地位，進一步取得了迪克森的信任。
奧特升任德國駐日大使後，佐爾格不僅自由出入大使館，而且接觸到大量秘密文件，對搜集德國和日本的情報更加方便。
尾崎秀實也潛入日本上流社會，利用分析積極影響日本政府的決策，發揮了間諜威力。
佐爾格從高層關係網中得到原文的情報文件，但他不相信這些情報，在每份情報報告中都加入自己的分析，這是佐爾格的重大特征，他發出的每份報告都是精品，而不是初級情報。
佐爾格總結搜集到的大量情報，認真分析，對日本政治局勢的發展、日本政府采取的步驟作出準確的預測。1936年3月至4月，佐爾格利用與奧特的特殊關係，看到一份密碼電報，掌握了日本駐德大使小島與德國外長裏賓特洛甫在柏林秘密談判的情況。
根據佐爾格發回的報告，蘇聯政府掌握了談判的詳細內容。佐爾格還搜集了1936年11月25日，德日簽訂的《反共產國際條約》的秘密部分。
佐爾格幾乎成為萬事通，從德國人那裏獲得的大量具有價值的情報，簡直讓人不敢相信。佐爾格了解到：德國和日本的幕後外交；德軍的情報；《反共產國際條約》各個準備階段的秘密情報；“日德軍事聯盟協議”的信息。
佐爾格預先得到日本對中國和東南亞軍事計劃的秘密情報。當這些情報彙集在一起時，佐爾格掌握了日本戰略的目標、步驟以至當時的形勢。