擺脫海軍省，擔任聯合艦隊司令長官，令山本五十六的心情格外暢快。
因為從此以後，伴隨著他的，不再是次官邸那昏暗的光線和沉悶的空氣，也不是終日監視著他並給他生命帶來威脅的右翼分子的眼睛，而是明媚的陽光，新鮮的海風和時刻保衛著他的4萬聯合艦隊官兵。
不知是偶然的巧合，還是冥冥之中的安排，山本五十六接任聯合艦隊司令一職，正值時年56歲，與他父親生他的那一年同歲。
雄心勃勃的山本，似乎對他的這一任職充滿了自信。報紙以“飛向波濤起伏喧鬧的大海——時隔六載後的出征，威嚴的山本提督”為題，對山本的任職進行了大肆報道：
就任海軍聯合艦隊司令長官的山本中將，精神振奮，從他的麵部表情中看得出，他對天皇陛下的信任充滿了感激之情並決心效忠於天皇。他身穿一套十分合體的雪白軍服，邁著矯健的步伐步入海軍省會見了記者。山本提督素不飲酒，可是今天卻破例地將一杯酒一飲而盡。接著，就開始了他任提督後的首次答記者問。
麵對記者的提問，山本答道：“這次身負如此重任，實感惶恐，願盡我微薄之力為國效勞。受命任聯合艦隊司令長官，此乃一軍人之最高榮譽。我已下定決心，誓死盡職。”8月31日，身著白色軍禮服、左胸前佩戴著一等瑞寶勳章的山本，在東京火車站站長的陪同下，走下了貴賓候車室的階梯。站台上早已擠滿了前來為他送行的人，有地位顯赫的將軍，無處不在的新聞記者，山本的親朋好友，也有花柳界那些使他夜不歸宿的相好。
下午1時整，臨時增發的特快列車“海鷗”號，載著山本徐徐駛離東京。同6年前離別戰艦一樣，山本摘下了頭上的軍帽，輕輕地揮動著，和送行的人們告別。路基兩旁的建築物、樹木等急速地向後退去，月台上的人們越來越模糊了，很快就消失在山本的視野之中，唯有為他送行而擊打的太平鼓的聲音還隱約可聞。
9月1日，山本到達大皈和歌之浦聯合艦隊駐地。在艦隊特意安排歡迎他的吹管樂的嘀嗒聲中，山本登上了聯合艦隊的旗艦“長門”號。他詼諧地對副官藤田中佐說：
“長官這個稱呼不錯嘛！很吃得開嘛！海軍次官算什麼，不過是個高級勤雜工而已。”
山本作夢也沒有想到他會在這個挺吃香的職位上喪命大海。如果說他在這一天登上“長門”號有什麼不吉利的暗示的話，那就是稍後傳來的德國軍隊全線進攻波蘭的消息。
兩天後，英國、法國分別對德宣戰，第二次世界大戰全麵爆發。
9月5日，躊躇滿誌的山本五十六，第一次向聯合艦隊的全體官兵發表講話：
“鄙人雖不謀該職，但天皇陛下授命，隻好就任，值此，深感責任重大。
“不言而喻，今天歐洲的形勢，乃世界再度出現大動亂之先兆也。值此風雲突變之時，吾深感帝國海軍任重道遠。望全體官兵更加同心協力，自重自愛，不辭辛勞，晝夜兼練，以保持聯合艦隊之最高威力，擔負起保衛國防之重任，不負於天皇陛下之所望。”山本上任後不久就恢複了因交接而中斷的日常訓練。他第一次站在“長門”號上看著由自己親自指揮的這支世界第三大艦隊撥錨起航。
“離港還有15分鍾，各艦航海值班人員各就各位。”一聲令下，各艦從艦首到艦橋，立刻呈現出一片緊張繁忙的氣氛和景象。總共80艘大小戰艦井然有序，煙囪裏冒出的黑煙籠罩了整個和歌之浦碼頭。“第2戰隊第1號艦正起錨。”隨著報告聲完畢，“長門”號的汽笛發出一聲長嗚，下達了“立即出港”的命令。
負責艦隊警戒任務的潛艇部隊最先駛出港口。山本手裏拿著雙筒望遠鏡來到艦橋。他一邊聽著航海科傳令兵關於各戰隊各艦的行動情況報告，一邊直接觀察著艦隊出港。傳令兵繼續報告：
“第4戰隊正在出港：‘高雄’、‘愛宕’、‘鳥海’、‘摩耶’出港了。”“後麵是‘伊勢’出港了，‘日向’、‘扶桑’出港了。”“‘赤城’、‘加賀’、‘蒼龍’、‘飛龍’第1、2航空戰隊依次出港了。”當山本看到隨後駛出的龐大的航空母艦時，他的眼睛好像一下明亮起來：現在該是將自己的航空戰術思想付諸實踐的時候了。
山本首先改變了老一套的訓練方法。在海軍，艦隊夜間出入港口是艦隊訓練中難度很大且有危險的科目，稍有失誤，就會發生損傷“天皇軍艦”的事故，情節嚴重者要受到切腹的懲罰。因此在已往的訓練中，一般是各艦都要打開信號識別燈，並以無線電保持各艦間的通信聯絡，以免發生軍艦相撞毀傷艦隻的事故，這已成為聯合艦隊不成文的慣例。但山本認為，這是不符合實戰要求的。因為戰時，艦隊出港是不允許打開信號燈和使用無線電的，即使使用微弱的無線電波聯絡也是被禁止的。他要求各艦一律不準開信號燈，並關閉艦上的無線電聯絡裝置。艦與艦間保持一定距離依次跟著各自的旗艦摸黑前進。
這是難度相當大的出入港訓練。幾萬噸的龐然大物，啟動後的慣性是相當大的，在黑暗中各艦保持一定的距離和準確的方向，使艦上人員高度緊張。一旦發現艦與艦間的距離過近時，靠艦上機械的製動能力是很難抑製住巨大的慣性的。山本的目的就是要訓練日本海軍的夜戰能力。
山本五十六在海上進行實戰訓練。接著山本在完成前任總司令官吉田善吾製定的年度訓練計劃後，到1940年便改以他心中構思已久的以航空兵力為中心的訓練1940年3月，山本為了檢驗海軍航空兵的攻擊能力，安排了一次代號為“123號作業”的演習。演習的計劃安排是，駐在誌布的艦隊從有明灣出發，經過九州東岸北上，向佐舊灣進發；航空隊則搜索北上的艦隊並利用夜間對艦隊實施轟炸。
指揮魚雷轟炸機的是“赤城”號航空母艦飛行隊長淵田美津雄少佐。他在發現山本五十六的艦隊之後，便緊緊盯住山本的座艦——旗艦“長門”號。“長門”號打開探照燈，試圖擾亂追蹤飛機的視線，並用高射炮向空中的飛機猛烈射擊，同時，加快艦速拚命躲避。淵田率飛機巧妙地躲開了高射炮的反擊，連連向艦上投放訓練用的魚雷炸彈，彈不虛發，發發命中。
看到這一情景，山本心中十分高興。
如果僅就地位和榮譽而言，山本應當滿足了。因為在日本海軍中，海軍省、軍令部和聯合艦隊是三位一體的。海軍省負責海軍行政，參與內閣決策；軍令部就是總參謀部，負責軍令、作戰計劃和訓練；聯合艦隊司令部是執行機構，是負責指揮作戰的最高機構。作為聯合艦隊的司令長官，也就是一名海軍軍官的最高榮譽了。
可是山本並未陶醉在榮譽和地位的光環裏。
手扶旗艦“長門”號欄杆，望著紀洲海麵上80多艘穿梭往來的軍艦，山本陷入沉思之中。國際局勢日益惡化，日本的對外擴張欲望如脫疆的野馬，海軍中的激進分子正蠢蠢欲動……作為世界第三大艦隊的司令長官，責任重大啊！獻身天皇的責任感和使命感使山本五十六的心情突然顯得格外沉重。
他在給島田繁太郎的信中寫道：“當前，歐洲出現了大動蕩，每當想到我們日本與德、意之間的關係，就使我不寒而栗。”
為了應付可能發生的戰爭局麵，他一麵指揮艦隊日常訓練，一麵針對歐洲戰場局勢的發展，特別是美國海軍的發展和夏威夷太平洋艦隊對日本造成的威脅，把日本海軍防禦線從小笠原群島連結馬裏亞納群島推進到從東卡羅林群島到馬紹爾群島的防線。
令山本五十六最不願看到的事情終於發生。隨著歐洲戰場的急劇變化，荷蘭、法國宣布投降，日本軍部首腦感到無比興奮。他們把眼睛盯上了英法等歐洲國家在東南亞的殖民地，企圖趁其無暇東顧之際，將這些殖民地據為己有，控製太平洋，也從根本上打擊親英美的蔣介石。
發動了侵華戰爭的近衛文在第二次組閣前，召集陸相東條英機、外相鬆岡洋右和海相吉田善吾，在其私邸獲窪山莊舉行了“荻窪會議”，製定了新內閣的行動方針，其中包括建立“大東亞新秩序”，盡快解決中國事變，與德意簽訂三國同盟條約等內容。1940年7月26日，近衛內閣通過了《基本國策綱領》，三國同盟問題再次提上日程。
聞聽此訊，正在海上訓練的山本五十六大為震驚，他多次上書吉田善吾海軍大臣，陳述與德意簽訂同盟條約的危害，指出為避免日美衝突，絕不可締結日德同盟。然而，吉田未能阻止同盟條約的簽訂。盡管山本在海軍首腦會議上極力反對，新任的海軍大臣及川古誌郎強行通過了海軍同意三國同盟條約的決定。三國同盟條約遂於9月27日在柏林簽署，約定三締約國中任何一國遭到尚未參戰的國家的攻擊，三國須用所有政治、經濟和軍事手段相互援助。日本徹底綁上第二次世界大戰的列車。
局勢的變遷終於把山本作為一個悲劇性角色推到曆史的前台。他在內心深處反對同美國交戰，但作為聯合艦隊司令長官的職責又必須麵臨同美國交戰；對英美國家的了解使他深知戰爭必敗，但效忠天皇的武士道精神又迫使他必須奪取戰爭的勝利。
在回答首相近衛文的詢問時，山本無可奈何地說：“如果非打不可的話，在開始的半年或一年中，可以奮戰一番，並有信心爭取打勝。如果戰爭持續下去，以至拖上二三年，那我就毫無把握了。三國同盟條約已經締結，隻有破釜沉舟背水一戰了。盡管如此，我還是希望政府能設法回避同美國交戰。”可見，山本五十六當時的心情非常矛盾。然而，局勢的迅速惡化已經不允許他怨天尤人了。
在同他的間諜秘書原田一起進餐時，山本憂鬱地說道：“在我看來，我們要同美國打仗，就必須作好幾乎向全世界挑戰的準備……我將竭盡我的全部力量，但是我希望戰死在我的旗艦‘長門號’的甲板上。在那些不祥的日子裏，你將至少3次看到東京被夷為平地。其結果將是延長人民的痛苦。而你和近衛，還有其他人，也許會被人民群眾千刀萬剮，盡管想起這種情景是很遺憾的，局勢確實令人困惑。我們已經陷入這種困境，命運注定在劫難逃。”
既然日本早已使自身走向一條既定的道路，山本也沒有多少選擇的餘地。更何況山本本人毫無疑問也是一名深入骨髓的軍國主義者。他的好戰心理源於他根深蒂固的武士道傳統，他像當時大多數的日本人一樣，相信隻有日本人才完全符合邏輯地充當亞洲國家的“救世主”，將亞洲從白種人的統治之下解放出來。