1935年春天，德國亨克爾飛機公司負責向日本陸海軍出口工作的哈克試探地問大島浩：“不知貴國是否願意與德國締結德日軍事合作條約共同對付蘇聯？”哈克說，“當然這是納粹黨外交部長裏賓特洛普的個人想法。”
大島浩聽後大為心動。
同年10月，在裏賓特洛普的要求下，大島浩與其在哈克家裏進行首次會見。兩人詳細密談了關於締結軍事條約的事。隨後，大島浩立即拍電將此報告給參謀本部。
當時，大島浩心意已定，為了牽製蘇聯，日德必須締約。他說：“日俄戰爭時，由於俄國與德國簽訂了協約，所以俄國毫無後顧之憂，把自己的王牌部隊調到遠東作戰，使日軍大吃苦頭。第一次世界大戰中，反過來由於日本對德宣戰，又使俄國可以放心大膽地打起德國人來。因此，這次如果日德兩國結為盟友，就會迫使蘇聯兩麵作戰，它再想幹預日本的對華政策也就不那麼容易了。”
參謀本部受到大島浩的報告後，為摸清德國方麵的真實意圖，於同年底11月派陸戰二部德國情報組組長若鬆前往柏林。若鬆在柏林逗留期間，曾與裏賓特洛普和國防部長布隆貝爾舉行了會談。在大島浩的參預下，雙方草擬出共同防共協定。
《日德防共協定》定於1936年11月25日簽約生效。該協定還附有一份議定書和一份秘密協定。
《日德防共協定》締結後的第三天，即11月28日，蘇聯負責外交工作的人民委員李季諾夫在蘇維埃第八次全國代表大會上譴責了法西斯國家的反蘇外交政策，強調指出：公布於眾的防共協定不是什麼為對付第三國際的協定；運用正確的語言表達，隻不過是其它秘密協定的一種掩護而已。他說：“這個秘密協定，充分暴露了過去15個月以來日本陸軍武官與德國超級外交官之間所進行的會談的真正目的。”
這就是說，蘇聯諜報機關業已探明，日德防共協定是日本陸軍代表獨斷專行的產物，它將發展成為一種極其危險的因素。
當初日本外務省的想法是：應避免防共協定過分刺激英國和蘇聯，同時不要加入任何特定的政治集團。然而，事實上它已大大地刺激了蘇聯，英國也投來了不安的目光。緊接著，意大利於1937年也在這個防共協定上簽了字，至此，日德意三國開始走上結盟的道路。
3.狂妄的使館武官
1938年7月14日，日本駐意大利使館武官有末精三突然接到大島浩的電話。電話要求他在16日到布達佩斯的蓋萊爾特飯店見一麵。大島浩沒有告訴有末的具體內容，隻說到時再說。
到了指定日期的下午，有末精三坐在飯店的大廳裏等待大島浩時，還在反複猜想：他找我到底要幹什麼呢？過了一會兒，大島和參謀本部的笠原幸雄一起走進了大廳，笠原的腋下還緊緊夾著一個手提包。據傳，笠原將出任駐柏林武官。因此有末想他們一定是來商討對蘇聯秘密活動的。
大島浩說：“此番會晤的內容極為保密，為以防萬一，我們還是換個地方吧。”於是他們決定借日本駐匈牙利公使館大使的私邸進行交談。後來為謹防竊聽，三人又跑到停放在有樹林掩蔽的庭院中心的汽車裏。