山本五十六戎裝像山本五十六原姓高野，1884年4月4日生於新渴縣長岡市古誌郡竹澤村一個破落的士族家庭。父親高野貞吉在戊辰戰爭時曾任洋槍隊小隊長，戰爭結束後，回到故鄉長岡，在柏奇縣政府工作，後轉任古誌郡一個小學校長。
高野貞吉是由長穀家族入贅高野家的，最初與高野家的大女兒成婚，生下讓、登、丈三、留吉4個兒子。其妻病死後，又與妻妹峰子成親，生下嘉壽、季八和五十六。五十六是他的第六個兒子，是年高野貞吉56歲，故取名高野五十六。
高野五十六從小就受到軍國主義和武士道精神的熏陶。他的父母經常給他講述祖父高野貞通和養祖父山本帶刀的故事。明治維新時期，一些不甘心失敗的封建勢力在幕府的號召下，發起戊辰戰爭，企圖推翻明治新政府。長岡藩與幕府關係密切，動員了所有的武士參加“奧羽越列藩同盟”，以武力對抗新政府。高野五十六的祖父和養祖父都參加了戰爭。在兩個多月的戰鬥中，長岡數百名武士奮力拚殺，經因眾寡懸殊，最後戰敗。高野五十六的祖父當時上已77歲高齡，在長岡城陷落時，堅持與夫人留下守城，用6支祖傳的火槍斃敵數十人後陣亡。高野五十六的養祖父山本帶刀在戰鬥最激烈的時候接替了身受重傷的河井繼之助的總指揮職務，指揮隊伍頑強抵抗。戰敗後，山本帶刀被官軍所俘，不降被殺，年僅24歲。祖輩忠勇剛烈、戰死疆場的武士道精神，在山本幼小的心靈中打下了深深的烙印。
少年時代的高野五十六家境貧寒。戊辰戰爭結束後，明治政府頒布了一係列法令，廢除了武士階層的封建特權和食祿製度。武士們過去不從事生產勞動，缺乏基本的生活技能，大多數武士生活水平急劇下降，家境貧寒。
高野家在明治維新前俸祿是120石，在長岡鎮算得上中上家庭。戊辰戰爭中，高野家2死3傷，財產付之一炬，家境一下子敗落了。戰爭結束後，僅僅依靠政府發放的金祿公債勉強度日。然而禍不單行，高野五十六的大哥高野讓主持的農場在一場火災中化為灰燼，讓隻得用全部家產賠償，其女高野京子被迫放棄學業，到東京帝國大學醫院當了一名護士。生活在這樣一個破敗的士族家庭中，高野五十六從幼年就開始參加一些力所能及的勞動，如照看菜園、打掃庭院，和大人一起捕魚。艱苦的生活磨煉了高野五十六的意誌，造成了他沉默寡言的性格。
1890年3月，高野五十六進入阪上小學，開始了學校生活。他聰明，勤奮，好學，學習成績一直很好，每年都能得到學校的獎勵。小學畢業那年，得到學校的優等獎，以及教育獎勵會櫻花銀質獎牌一枚。
1896年4月，高野五十六升入長岡中學。這是一個有著特殊背景的學校，學校的老師大部分是舊長岡藩的武士，學生則是士族子弟。當時，無論是學校老師還是社會上的武士都認為，要改變長岡的地位，最有效的手段就是用他們的武士精神培養優秀人才。1875年成立的長岡社，就是一個武士發起以育英為目的的團體，專門資助那些家境貧困但品學兼優的有用人才。
高野五十六的情況十分符合長岡社的標準，因而得到了長岡社的資助，每月1日元。資助的數額雖小，但高野五十六覺得受到了莫大的精神鼓勵，他幾乎放棄一切娛樂，努力學習。在上中學的幾年中，大部分教科書都是自己抄寫的，5年的時間，他隻穿了一套校服，回到家馬上脫下，換上母親做的土布衣服。他寡言少語、樸素實幹，有一種超乎常人的不達目的誓不罷休的頑強品格，同時，又待人真誠，樂於助人，同情敏感，被稱為“長岡武士的榜樣”。進入長岡中學後，高野五十六受到更加濃烈的武士道精神教育，開始更多地關心外界事物，愛好也更加廣泛。還經常利用學校的單杠、木馬等體操用具進行體育鍛煉。有人說他是7歲的秀才，到了15歲就成了蠢才，但他從不為自己辯解。沉默而顯得有些木訥的五十六，在軍國主義思想的熏陶下，已經暗中選擇了自己的目標，即當一名拓展日本帝國疆土的海軍軍官。