山本五十六原姓高野，1884年4月4日生於新潟縣長岡市古誌郡竹澤村一個破落的士族家庭。
父親高野貞吉在戊辰戰爭時曾任洋槍隊小隊長，戰爭結束後，回到故鄉長岡，在柏奇縣政府工作，後轉任古誌郡一個小學校長。
高野貞吉是由長穀家族入贅高野家的，最初與高野家的大女兒成婚，生下讓、登、丈三、留吉四個兒子。其妻病死後，又與妻妹峰子成親，生下嘉壽、季八和五十六。五十六是他的第六個兒子，時年高野貞吉56歲，故取名高野五十六。
高野五十六從小就受到軍國主義和武士道精神的熏陶。他的父母經常給他講述祖父高野貞通和養祖父山本帶刀的故事。
高野五十六的祖父在77歲高齡時，仍參與戰鬥，並堅持與夫人留下守城，並用6支祖傳的火槍斃敵數十人後陣亡。
高野五十六的養祖父山本帶刀在戰鬥最激烈的時候接替了身受重傷的河井繼之助的總指揮職務，指揮隊伍頑強抵抗。戰敗後，山本帶刀被俘，不降被殺，年僅24歲。
祖輩忠勇剛烈、戰死疆場的武士道精神，在高野五十六幼小的心靈中打下了深深的烙印。
少年時代的高野五十六家境貧寒。戊辰戰爭結束後，明治政府頒布了一係列法令，廢除了武士階層的封建特權和食祿製度。武士們過去不從事生產勞動，缺乏基本的生活技能，大多數武士生活水平急劇下降。
高野家在明治維新前俸祿是120石，在長岡鎮算得上中上家庭。戊辰戰爭中，高野家兩死三傷，財產付之一炬，家境一下子敗落了。
戰爭結束後，僅僅依靠政府發放的金祿公債勉強度日。
然而，禍不單行，高野五十六的大哥高野讓主持的農場在一場火災中化為灰燼，讓隻得用全部家產賠償，其女高野京子被迫放棄學業，到東京帝國大學醫院當了一名護士。
生活在這樣一個破敗的士族家庭中，高野五十六從幼年就開始參加一些力所能及的勞動，如照看菜園、打掃庭院，和大人一起捕魚。艱苦的生活磨煉了高野五十六的意誌，造就了他沉默寡言的性格。
1890年3月，高野五十六進入阪上小學，開始了學校生活。
他聰明、勤奮、好學，學習成績一直很好，每年都能得到學校的獎勵。小學畢業那年，得到學校的優等獎以及教育獎勵會櫻花銀質獎牌一枚。
1896年4月，高野五十六升入長岡中學。這是一個有著特殊背景的學校，學校的老師大部分是舊長岡藩的武士，學生則是士族子弟。當時，無論是學校老師還是社會上的武士都認為，要改變長岡的地位，最有效的手段就是用他們的武士精神培養優秀人才。
1875年成立的長岡社，就是一個武士發起以育英為目的的團體，專門資助那些家境貧困但品學兼優的有用人才。高野五十六的情況十分符合長岡社的標準，因而得到了長岡社的資助，每月一日元。資助的數額雖小，但高野五十六覺得受到了莫大的精神鼓勵，他幾乎放棄一切娛樂，努力學習。在上中學的幾年中，大部分教科書都是自己抄寫的。五年的時間，他隻穿一套校服，回到家馬上脫下，換上母親做的土布衣服。高野五十六寡言少語、樸素實幹，有一種超乎常人的不達目的誓不罷休的頑強品格；同時，又待人真誠，樂於助人，被稱為“長岡武士的榜樣”。進入長岡中學後，高野五十六受到更加濃烈的武士道精神教育，開始更多地關心外界事物，愛好也更加廣泛。還經常利用學校的單杠、木馬等體操用具進行體育鍛煉。有人說他是7歲的秀才，到了15歲就成了蠢材，但他從不為自己辯解。沉默而顯得有些木訥的他，在軍國主義思想的熏陶下，已經暗中選定了自己的目標，即當一名拓展日本帝國疆土的海軍軍官。1901年，高野五十六中學畢業。據其老師後來所說，個子矮小瘦削、寡言少語、老實樸素的高野五十六，最後成績在全班40山本五十六名學生中，名列第五，其中品行課得96分，為全班最高成績。接下來，高野五十六就要為自己報考海軍學校作出努力了。為了能夠考上海軍學校，實現自己的願望，高野五十六專門跑到他姐姐家，躲在一間小屋裏複習。他的姐姐嘉壽子嫁給了舊長岡藩的藩士、學校教員高橋牛三郎。他隻有這一個姐姐，比他大18歲。高野很小的時候，就非常討姐姐的喜歡，嘉壽子自出嫁後一直沒有生孩子，因而對他更是愛護備至。在聽說他要來她家準備考試後，非常支持他的選擇，並迅速清掃了一個多年不用的房間供他使用。經過幾個月的準備，1901年7月9日，高野五十六順利通過考試。在得到錄取通知以後，高野五十六異常高興。當有人問他為什麼去當兵時，他決然回答說：