其實日本人從很早開始就在從事無線監聽和密碼破譯工作，最早可以追蹤到日俄戰爭時期的日本海軍。當年為了捕捉在日本沿海神出鬼沒的那支“浦鹽艦隊”，位於靜岡的日本海軍無線電信所就開始監聽浦鹽艦隊的無線電波。
第一次世界大戰以後，日本陸軍開始了大規模的密碼破譯工作，1920年左右，日本人在波蘭人的幫助下開始了破譯蘇聯密碼的工作。蘇聯人的密碼經常被日本人破譯這是事實，但蘇聯人經常更換密碼，這樣日本人又要從頭幹起，所以日本人閱讀蘇聯人電報永遠是斷斷續續的。
後來參謀本部第三部(總務部)第七課(通信課)成立了以百武晴吉為班長的暗號班，開始了有組織的破譯各國密碼的活動。暗號班最早破譯的是強度最低的美國灰色外交密碼，後來在1934年左右破譯了美國棕色外交密碼，一般認為強度最高的條狀密碼(stripcode)也被日本破譯成功，證據是德國從日本得到的情報的原始出處是美國國務院發送的條狀密碼，破譯的過程到現在還是一個謎。
據堀榮三說，日本陸軍已經接近於破譯美國海軍密碼，起碼達到了80%，美軍陸軍的密碼曾經被日本南方軍破譯過一次，但不久就被美國人發覺，改換了密碼。因為戰敗時參謀本部銷毀了一切有關文件，所以現在已經無法準確判斷具體內情。
日本陸軍對中國各種密碼的破譯也下了大功夫。1928年左右張學良的通訊密碼已經被日本人破譯，1931年九一八事變時，被授予金■勳章的名單上有一位名叫工藤勝彥的大尉，是參謀本部派到關東軍幫助搞無線監聽的，這也是特情人員獲得的第一枚金■勳章。
照日本人的說法，從張學良到蔣介石就沒有密碼概念，就是明碼，他們全部是使用四位阿拉伯數字對應一個漢字的簡單編碼，甚至都沒有簡縮碼的概念。隻要使用最簡單的頻率分析法就可以很簡單地加以解析，而國民黨起碼在中日戰爭的全過程使用的就是這種明碼。
1937年盧溝橋事變以後，企圖不擴大事態的近衛文麿派出的準備和蔣介石政府談判的宮崎龍介和秋山定輔，分別在神戶和東京被捕的原因，就是因為蔣介石政府所使用的密碼在1936年就已經被日本陸軍所破譯，所以近衛文麿和蔣介石政府之間來往的密電全部被參謀本部知悉，才采取了釜底抽薪的行動，使日本政府不擴大事態的希望破產。
光1940年宜昌戰役時，中國軍隊就有120份有關作戰的電報被日本軍破譯，中國軍隊的所有作戰行動及其作戰意圖均為日本人所知曉。日本陸軍一直到1941年2月28日才第一次破譯了中共的密碼，但立即被中共發覺。中共對於情報的保密相當重視，密碼頻頻更換，日本人始終無法持續地解讀中共的電文。
蔣介石政府對於密碼的無知是很有名的，這一點英國人美國人都知道，他們隻能采取對蔣介石封鎖消息的方法，因為讓蔣介石知道了就等於讓日本人知道。那麼為什麼不提醒蔣介石注意或者派人幫助蔣介石加強保密能力呢?那又是英美人的小算盤，英美也在監聽蔣介石，如果蔣介石真的加強了密碼，日本人當然聽不到了，可是英美也成了聾子和瞎子，權衡下來還是對蔣介石放任自流，最多加強對蔣介石的保密工作就是了。