小學畢業以後，赫茲進入了初中，他再也不像小學裏那樣貪玩了。他好像換了一個人似的，整天不停地看書。在中學期間，他開始顯示出他在數學和自然科學方麵的天賦。由於他比，較重實用，他打算在中學畢業以後從事工程，雖然此時他還顯得幼稚，對自己的未來還沒有形成一個鮮明的目標。
整個中學階段，基本上都在接受老師所灌輸的知識。中學畢業以後，赫茲去了法蘭克福。
在法蘭克福，他一邊工作，一邊自學。準備參加工程師資格考試。那時，赫茲才18歲。對於這樣一個出身不錯的小夥子，從來沒有經曆過任何苦難，沒參加過任何工作的人來說，其辛苦是可想而知的。可是，赫茲卻相當的能吃苦耐勞，在工作之餘，他還要挑燈夜讀。
在他小小的陋室中，顯得那麼淩亂。隨處可見的書籍，一盞昏暗的燈伴隨著他度過了一個又一個的夜晚。憑著他的不懈努力，他修完了法拉第、奧斯特等人的著作。
可是，命運的安排卻使赫茲的生活一波三折。在德累斯頓工業學校學習不久，赫茲便於1876-1877年去服兵役，然後去了慕尼黑。赫茲本擬仍學工程學，可是，他卻逐漸愛上了數學和自然科學。遂於1877年在征得父親的同意後進入了慕尼黑大學，起初主修數學，但他的根本興趣則在於對自然的探索。
在這段時間，他一頭沉浸入數學的海洋有次他曾風趣的對別人說：
“代數嘛，就像打獵一樣有趣。那頭藏在樹林中的野獸，你把它叫做x，然後一步一步靠近它，直到把它逮住。一旦你逮住它，那種成功的喜悅是不言而愈的。”
這時的魯道夫·赫茲已經開始用他自己的眼光來看待世界和所有的問題，包括他所鍾愛的數學和自然科學。他看到了數學的光輝曆史和重大的作用，便一頭紮入了數學的浩翰大海。這時他才深深地感受到數學原來竟然如此美妙。每當證明出一道證明題：會體驗到發現真理的快感。那一個個定理的證明，嚴密得滴水不漏，使人不能有半點懷疑，人的思維是那樣明晰，那樣可靠，給他留下了難以磨滅的印象。他探索，他驚奇；他又思索，他更驚奇。
在這種心情的驅使下，在他的導師約裏的指導下他閱讀了拉格朗日、拉普拉斯和泊鬆等人的著作，按照曆史的發展學習了數學和力學。自此，他開始真正步入了高等數學的殿堂。在慕尼黑大學裏，赫茲幾乎是兩耳不聞窗外事，一心隻讀聖賢書。在這裏，他表現出超人的領悟力。本來，在準備從事工程學的努力中，他已培養了實踐的能力，而在以後的幾年又打下了堅實的數學基礎，這就為他成為物理學家準備了必要的條件。
當時德國大學的風氣是學生們經常在各個大學中“流動”。在慕尼黑過了一年以後，赫茲轉入了柏林大學。當時，柏林大學的學術氣氛很濃。無論是年輕學者，還是德高望重的教授，他們經經常出沒於各種學術討論會。柏林大學，當時是執世界物理學牛耳的學府，赫茲和後來對他一生的科學產生重大的影響的亥姆霍茲建立了密切的聯係。雖然，當時赫茲還隻是二年級的學生，他卻因為學習功課的壓力比較輕，學有餘力，他在亥姆霍茲的支持下開始了正式的科學研究。亥姆霍茲在物理係給他撥出了專用房間，向他提出了研究課題，介紹了文獻。