赫茲在私立小學時，就表現出了很強的動手能力，因為他在入學之前就喜歡拆拆裝裝。在學校裏他經常自己製作一些小製品和小發明。
當時的德國，有許多的人對宗教和神學比較感興趣。在學校裏有教義課，教義課的老師給幼小的孩子講解聖經故事。教堂裏那種莊嚴氣氛，蕩漾在空中的鍾聲，唱詩班的深沉的歌聲，喃喃的祈禱聲——“阿們”，這一切在赫茲心裏產生出一種神秘而又崇高的感情。人是多麼渺小！上帝是多麼榮耀！天地和世界是上帝創造的，人也是上帝創造的。全能的上帝，你看不見他的形象，聽不見他的聲音，卻能和他進行思想交流。他能明了你的最奧秘的思想，又能指導你最細小的行動，這是多麼神秘，多麼奇妙！赫茲幼小的心靈被天上的造物主攫住了。
赫茲在學校裏受到天主教教義的灌輸，回到家裏卻是猶太教徒。兩種宗教，對他來說，就像一張紙的正反兩麵，是一樣的。舊約中的創世紀和詩篇，福音書中的耶穌受難，同樣地使他感動。他覺得他自己需要一種崇高的感情，他經常用自己的辦法來表達對宗教的熱情。他寫了一些歌頌上帝的短詩，自己在上學和放學的路上，輕輕吟唱。
赫茲雖然經常讓老師感到頭痛，可是他和小夥伴關係卻很密切、很融洽。同學們都很喜歡他。可老師卻不喜歡這位聰明伶俐的猶太學生。有一天，教義課的老師帶著一隻太釘子來到班上，他開始講：
“猶太人自稱是上帝的選民，可是他們卻用這樣大的釘子，把上帝的兒子，我們的救世主釘在十字架上。”
教義老師舉起那隻大釘子，聲音顫抖起來：
“我們的主耶穌，手和腳釘在十字架上，淌著鮮血。可是，他們還恥笑他說：‘如果你是上帝的兒子，你就從十字架上下來！’我們的主耶穌，痛苦地垂下了頭，鮮血一滴一滴往下流……”
孩子們屏息靜氣，老師給他們打開了基督教曆史最神聖的一頁。
這位老師也許無意中侮辱了幼小的赫茲，班上的同學也沒有察覺，有一個猶太人就坐在他們中間。可是，敏感的赫茲卻好像覺得，全班的幾十雙眼睛都明晃晃地轉向了他。猶太人！幹出這種罪惡而肮髒的勾當！
但是，赫茲的宗教熱情，沒有因為這種打擊而減退。他的上帝，不單是耶和華、耶穌和聖靈，也是滲透在自然之中的。他的上帝既在天上，也在地上。天上的太陽、月亮和點點繁星中有上帝，地上那黑黝黝的森林中、那藍瑩瑩的湖水中也有上帝。
12歲那年，赫茲以優異的成績畢業於私立小學。