1904年，21歲的高野五十六從海軍兵學校畢業。以少尉候補生的身份，到戰艦“日進號”上任職，隨即參加了日俄戰爭。
日俄戰爭結束後，高野五十六在海軍中的職位不斷上升。1907年任中尉，1909年任大尉，成為訓練艦隊宗穀分隊的指導官，對實習的少尉候補生進行指導。
1910年12月1日，高野五十六被海軍大學錄為將校科乙種學生，學習艦炮、水雷和航海。
1914年，高野五十六再次被海軍大學錄為將校科甲種學生。
1915年，高野五十六被授予四等瑞寶勳章，升任海軍少佐。經過戰爭洗禮和高等教育的高野五十六，已經在各個方麵漸趨成熟。他依舊沉默寡言、不露聲色，但對任何重大問題都能做到反複琢磨、深思熟慮、獨立思考，一旦作出決定，即果敢行動，給周圍的人留下極其深刻的印象。
這一時期，高野五十六的生活中發生了兩件較為重要的事：一是改姓山本；二是與三橋禮子成親。
高野五十六的故鄉長岡是一個武士道精神盛行的地方，有著悠久的封建曆史和濃厚的封建思想殘餘。戊辰戰爭以後，長岡在國家中的地位一落千丈，常成為人們的話柄。長岡武士為此感到恥辱，他們時刻準備重整旗鼓，再振長岡。
武士們認為，要為長岡振名聲，最好的辦法就是培養出身名門世家的大人物。於是，長岡人一致把目光對準了嶄露頭角的高野五十六。由於高野五十六門戶一般，不能從聲望上代表長岡，而長岡最有名的望族山本家又在戊辰戰爭之後後繼無人。一些人便開始策劃高野的改姓活動，以讓高野五十六繼承長岡武士名門山本家的遺業。
至1915年，高野五十六少佐即將從海軍大學畢業，他們看到了希望。因為除了高野本人是一名很有前途的海軍軍官外，他還是與山本家的中興之祖山本老於齊結為刎頸之交的高野榮軒的子孫，繼承山本衣缽者幾乎非他莫屬。
藩主牧野為懇請高野五十六再興山本家，絞盡了腦汁，付出了異常的努力，並動員曾擔任高野家長老的田中浪江、山本家的舊臣渡邊廉吉等人一同來做高野的工作。
此時的山本家，經過明治維新的衝擊，龐大的家產早已被政府沒收，作為可繼承的財產隻有一套褪了色的破舊麻質武士禮服和位於長岡市稽古班長興寺的山本家荒涼的墓地。
然而聰明的高野五十六並沒有計較這些，他考慮到高野家和山本家曆代的關係，更重要的是，滿腦子充斥著武士道思想的高野五十六，認識到繼承山本遺魂，對其將來的發展會產生不可估量的作用。