1926年捷爾任斯基病逝後，國家政治保衛總局由維亞切斯拉夫·魯道夫維奇·明仁斯基領導。1934年7月10日，蘇維埃國家政治保衛總局改組為國家安全局，其職責包括對內進行政治監督、對外進行反間諜滲透和情報偵查，這個秘密警察組織再次歸屬於最高蘇維埃內務人民委員會的領導。亨裏希·格裏戈裏耶維奇·雅戈達被任命為內務人民委員會主席。1936年，雅戈達被斯大林免去了內務人民委員會主席的職務。不久，被指控為反革命殺人犯和外國資產階級的間諜，經過司法公開審判後被他當初的下屬槍決了。
尼古拉·伊萬諾維奇·葉若夫繼任內務人民委員會委員職務職務。他運用斯大林賦予的幾乎是至高無上的權力，通過龐大而高效的組織體係，對蘇聯的黨和國家機關進行整肅，開展揭發黨和革命的敵人的告密運動，弄得整個蘇聯幾乎人人自危。
1938年，拉夫連季·巴甫洛維奇·貝利亞接任內務人民委員會領導。1941年德國進攻蘇聯，衛國戰爭爆發。蘇聯內務人民委員會的國家安全總局和總參謀部的情報總局聯手，繼續加緊向蘇聯境外派遣和發展情報人員，編織跨國間諜網。
1943年4月，國家安全總局由內務人民委員會中再次分離出來，名稱是國家安全人民委員會。1946年，內務人民委員會和國家安全人民委員會正式成為兩個蘇聯國家部一級的政府機構，名稱也從此改為蘇聯內務部和蘇聯國家安全部。1953年3月，斯大林去世，國家安全部被撤銷，其工作被並入貝利亞兼任部長的內務部。
蘇聯曆史上最著名的間諜佐爾格取得的傑出成就，就是這一時期蘇聯情報部門工作成就的直接反映。
1895年10月，理查德·佐爾格出生在高加索地區的一個小鎮上。父親是位工程師，為附近一家瑞典投資的石油公司工作，後來成了銀行家。母親是俄國人，比父親年輕得多。佐爾格3歲時，全家遷往德國柏林，在郊區利奇特費爾德居住下來。
佐爾格小時候敏感而膽小，非常害怕黑暗，臥室裏必須通宵達旦地點著燈。但他熱愛體育，經常運動使他體格健康。佐爾格讀高中時，正值第一次世界大戰，他自願報名參了軍，被分配到第三野戰炮兵團學生旅，先是在西線同法軍，後是在東線同俄國人作戰。
一次戰鬥中他的右腿被彈片擊傷，被送往柏林陸軍醫院治療。傷愈後，回到母校參加了高中畢業考試，拿到畢業證書後，他又返回原來的部隊。三周後他再次負傷，兩條腿都被彈片打折，被送到哥尼斯堡大學醫院。
治傷期間，他的思想陷入極度的混亂之中。兩次在戰壕中作戰，冥思苦想，卻不了解戰爭的真正目的。像同時代的許多人一樣，佐爾格精神上感到十分困惑，不知道人類社會發展的深遠意義。他開始如饑似渴地閱讀德國和俄國有關社會主義和共產主義的經典著作，廣泛涉獵古希臘哲學家和黑格爾的作品。他的思想逐漸明朗，覺得眼前的道路越來越寬廣了。此後，他決心成為一個自覺的共產主義戰士。
1916年10月，佐爾格就讀於柏林大學經濟係。1918年元月，佐爾格正式退伍後進入基爾大學學習，攻讀國家法和社會學博士。不久，佐爾格加入了新成立的德國共產黨。同時，他從基爾搬到漢堡，積極參與建立青年人馬克思主義學習小組，並花大量時間培訓德共地方組織的幹部。當時，他的公開職務是大學助教、報紙編輯和記者等。他還作為地區代表出席了德國共產黨第七次代表大會。
青年時代的佐爾格（左一）
1923年下半年，莫斯科馬克思主義學院院長來到德國，佐爾格在柏林和法蘭克福兩次與他見麵，從此，佐爾格開始接觸蘇聯共產黨。1924年4月，德共第九次代表大會在法蘭克福召開，蘇聯派了一個由6人組成的代表團參加，其中有蘇聯情報部門的官員。佐爾格作為與會代表有機會與蘇聯人深入接觸，由此也徹底改變了佐爾格的人生軌跡。1924年10月，經過德國共產黨的精心安排，佐爾格持德國學生旅行護照，偕妻子途經柏林前往莫斯科。
佐爾格在莫斯科受到上等的禮遇。很快，他加入了蘇聯共產黨，正式成為一名蘇聯國家安全總局的情報人員，專門負責收集有關各國工人運動、政治、經濟等方麵的資料，處理和聯係各國共產黨的黨務問題。此後的幾年，佐爾格受命頻頻穿梭於柏林、哥本哈根、斯德哥爾摩、斯堪的納維亞、倫敦和莫斯科之間。
德國共產黨組織的武裝暴動失敗後，莫斯科開始把情報和宣傳的工作重點從歐洲轉移到亞洲。為此，蘇聯以共產國際的名義派遣許多間諜小組來到中國，這裏麵有蘇聯人，也有德國人。這些小組除與中國共產黨進行黨務聯係外，主要任務是收集有關中國的政治、軍事和外交方麵的情報。
1929年，莫斯科派佐爾格前往中國。他原本就喜歡中國文化，因此愉快地接受了這項任務。經過一番喬裝打扮後，辦理了填有他真實姓名的合法旅行護照，然後又在柏林簽訂了兩項合同，一個是與一家社會學雜誌社簽訂的，一個是與《農業報》簽訂的。佐爾格對《農業報》的經理說，他打算研究中國的農業狀況，並為該報撰稿。他認為中國的根本問題是農民問題，研究中國農業狀況對了解整個中國具有極其重要的意義。報社經理對他的見解大加讚賞，並表示積極支持，他還通過一位朋友為佐爾格搞到一張由德國外交部宣傳處寫給上海德國總領事館總領事的介紹信。
1929年11月，佐爾格離開柏林，於1930年元月到達上海。與他一起到達的還有一位報務員。不久，蘇聯派來協助工作的無線電技術專家馬克斯·克勞森也到達上海。佐爾格立刻著手建立情報組織網。他持德國外交部的介紹信拜訪了德國駐上海總領事，通過領事館結識了許多在上海的德國商人和德國外交官。
佐爾格以德國記者的身份先後到廣州、漢口、南京等地搜集中國的情報，了解中國從城市到鄉村的基本情況。一次偶然的機會，佐爾格結識了《法蘭克福日報》駐遠東記者、著名美國左翼人士艾格妮絲·史沫特萊女士，通過她結識了日本大阪《朝日新聞》駐華記者大崎保積。大崎曾是東京帝國大學馬克思主義學習小組的成員，對中國共產黨持同情態度。
佐爾格作為一位記者，周旋於德國總領事館的社交圈子和記者聯誼會之中。他從南京的德國軍事顧問那裏了解到中國軍隊的武器裝備、部隊編製、指揮官與蔣介石的關係等情報；依靠德國教官搜集到了南京軍火倉庫的平麵圖。佐爾格所搜集到的情報大部分通過哈爾濱取道海參崴，或經廣州取道香港轉送莫斯科。
1932年下半年，佐爾格被召回莫斯科，提前結束了他的中國之行。在上海進行諜報活動的三年經曆，大大豐富了佐爾格的諜報經驗。他的勇氣也經受住了考驗。
回到莫斯科後，佐爾格本想休整一下，利用空閑時間，根據自己搜集采訪到的一手材料，寫一部有關中國農業方麵的書。不料，三天後總部找他談話，將他派往日本建立秘密情報小組。當時蘇聯當局覺得，日本和德國的合作嚴重威脅到蘇聯遠東的安全。佐爾格前往日本的主要任務是，摸清日本對德國的政策以及日本是否進攻蘇聯等問題。總部給他指派了兩名助手：無線電技術專家克勞森和日本人大崎。按事先計劃，佐爾格先行到達日本後，這兩人會相繼與他聯係。
接受了任務的佐爾格，像上次去中國一樣，先到柏林尋找合適的掩護身份。自然最合適的身份還是記者，他在中國做記者時在《社會學》雜誌和《農業報》上發表的文章產生很大影響，已贏得“熟悉遠東事務”記者的聲譽。他這次回到柏林，好幾家報紙和雜誌慕名而來，主動聘請佐爾格擔任特約記者。最後，他選定影響頗大的《柏林交易所報》《每日展望》《地理政治》和荷蘭的《商業評論》。
1933年7月，一切準備就緒。佐爾格懷揣德國護照踏上了旅途，他先到法國港口瑟堡，從那裏乘船經紐約到橫濱，於1933年秋天抵達東京。
當時的東京政治氣氛十分沉悶，暴力事件時有發生，人人自危。一年前，首相犬養毅在官邸遭一夥年輕軍官槍擊。就在佐爾格到達東京前兩個月，發生了一起企圖刺殺全體內閣成員的陰謀事件。日本名義上是由一位神化的天皇統治，但天皇並不能直接行使權力。因此，這個國家實際上由軍人和官僚機構控製著。由於日本陸海空三軍存在嫌隙，尤其是陸軍內部存在著尖銳的矛盾，因而日本的政策和目標往往搖擺不定，在急功近利的浮躁心理驅動下，日本政府甚至會采取輕舉妄動的路線。日本人表麵上守規矩重禮節，表現得笑容可掬、彬彬有禮，往往叫人看不清他們的本來麵目。剛到東京的佐爾格，對日本人保持著高度警惕，但他很快熟悉了環境，對付日本人繁複的禮節也感到遊刃有餘了。
到達東京的當天佐爾格就拜訪了德國大使館。新任大使還沒上任，佐爾格受到使館人員的熱情接待，他們一見如故，談得非常投機。此時，希特勒剛當上德國總理，大家都急切地想了解國內的情況，得知他剛從德國來，立刻圍上來向他提出種種問題。舉止高雅、氣度雍容的佐爾格博士從容不迫地回答他們的提問，顯示出他是個有地位的消息靈通人士。初次見麵，佐爾格便給使館官員們留下深刻印象。通過特殊關係，佐爾格搞到了日本駐華盛頓使館給日本外務省情報司司長天羽榮二的介紹信。
第二天，佐爾格登門拜訪天羽，此人也是日本外務省重要的新聞發言人，紅極一時。他每周主持一次記者招待會，隻有各國駐東京的大牌記者才有資格被邀請參加。經天羽榮二介紹，佐爾格結識了許多知名的日本記者和駐東京的外國記者。
不久，佐爾格東京間諜小組的核心成員克勞森和大崎陸續來到。他們開始了有組織的情報搜集活動，不定期地交換和分析情報。大崎當時已是日本的名人，而他的一位老同學是近衛的私人秘書，近衛在日本內閣中屬強力派，他後來出任首相，兩次組閣。
不久，佐爾格東京間諜小組發展了第四名成員宮木佑德，宮木十分善於搜集各種有價值的情報，佐爾格稱讚他為搜集情報的“藝術家”。
到東京後，佐爾格開始申請加入德國納粹黨，一年後得到批準。之後，他又提出申請，要求加入德國記者協會。在佐爾格看來，要獲取有價值的情報，必須從德國大使館入手，而要獲得大使館保險櫃裏的絕密材料，必須博得大使的絕對信任。他有一句話成為著名的間諜名言，流傳很廣，那就是：不要把手伸向保險櫃，而要讓保險櫃自動打開，讓機密材料自動來到自己的辦公桌上。
1933年底，德國新任助理武官奧特到東京上任。佐爾格拿著奧特在《每日展望》做編輯的一位密友的信拜訪奧特。這位朋友在信上不僅對佐爾格的能力大加讚賞，而且說他在人品和政治上完全可信，作為朋友佐爾格是個不可多得的人。奧特武官在柏林曾閱讀過佐爾格給《每日展望》撰寫的有關日本的文章，對博學多才的佐爾格印象深刻。當年奧特上校40歲剛出頭，佐爾格剛滿39歲，年齡相仿的人也容易溝通，加之在一戰中，他們都曾經是德國軍人，打過仗負過傷，共同的經曆使他倆一見如故。
奧特一心想著好好表現自己的才能，有朝一日飛黃騰達。當時，他正因為自己送給柏林的報告由於內容空洞、言之無物，沒受到柏林的重視而發愁。佐爾格的光臨自然受到奧特的歡迎。從此，奧特在起草致柏林的報告前，總是先同深知日本國情的佐爾格交換意見。佐爾格給奧特提供關於日本軍事方麵的情報，或者提出關於日本形勢的精辟見解，充實了奧特所寫報告的內容和分量。報告送上去後，奧特經常受到柏林的表揚。由於佐爾格的幫助，奧特由助理武官升為武官。佐爾格更成了奧特家裏的常客。