每天放學之後，他最大的樂趣就是獨自一人沿著伊薩河的河岸，走上很長的一段路。他經常停下來休息，想一些教會中的事情。有時候他會偷偷溜進聖母教堂，揀最後幾排座位坐下來，然後看著大教堂牆壁上那些先知及聖徒的雕像。神壇前的燭光隨風搖曳，神壇前麵有幾位修女及婦人跪在那兒祈禱。
在這種寧靜而幽暗的氣氛中，他企圖找出那些一直困擾他的問題的答案。上帝是否像愛基督徒一樣地愛猶太人？宗教老師不是常說“他是我們的父，我們都是他的孩子”嗎？既然大家都是一家人，都是好朋友，那麼，基督徒為什麼又要把他們的教堂和猶太人的教堂分開呢？
他覺得雅各布叔叔無法在這個問題上幫上他的忙，而他又不願意和父親討論，因為父親並不關心宗教問題。對他來說，在這個每天都會令他更加困惑的世界裏，這隻不過是另一個令他感到困惑的問題而已。
因此，往後的幾個年頭，他一直生活在孤獨與困惑中。他對學校的怨恨，隻有在放假跟著父母前往湖邊或山間度假時，才能稍微獲得舒解。他們經常邀請艾爾莎表姐同行。艾爾莎和瑪雅喜歡采集野花，結成一把花束帶回家。阿爾伯特則說，花兒生長在陽光下會更漂亮，卻引得兩個女孩子哈哈大笑。
有時候他會被帶去參加音樂會，或是被允許晚睡以便聆聽母親彈琴時，才是他最高興的時候。
“你是不配聽這麼好的音樂的，淘氣鬼！”阿爾伯特的母親輕聲責備他，“老師說你不願用正確的方法練習。”
“那樣學音樂是不對的。”阿爾伯特堅持說，“那個音樂老師很生我的氣，也不願繼續教我。我認為他並不真正喜歡音樂，他老是提到音階，他說我需要多練習。他跟學校裏的老師一樣，老是說我們必須像部隊中的士兵那樣操練、操練、再操練。”
他的母親搖搖頭，同時對他這種反叛思想感到震驚，卻又不得不承認，以阿爾伯特的年齡來說，他的演奏水平算是不錯了。他喜歡莫紮特音樂裏那種輕鬆、優美而迷人的旋律。他認為隻有這種曲子才值得演奏。他喜歡音樂，尤其在小提琴演奏方麵很有天分。盡管他的音樂老師並不高明，但他到十四歲時已學會演奏小提琴，而且演奏得相當好，甚至應邀和一群年紀較大的演奏者一起演出。
阿爾伯特十歲時，進入了路易波爾德高級中學就讀。這個學校最低的年級相當於我們的初中，學校教授全部高中課程，以及大學前兩年所要學習的課程。學校的主要科目是希臘文和拉丁文。
在他年少的時候，阿爾伯特認為這兩種文字不但枯燥無味，而且非常難懂。對一個不喜歡“操練”的學生來說，這兩種文字實在沒有意義，他越來越感到不耐煩，因此，他把課堂上的時間都用來思考一些令他感到困惑的問題。有人說，想要找出事情的“原因”及“經過”的，就是科學家。這麼說來的話，阿爾伯特早已是一名科學家了。
這所學校的老師跟他以前的老師一樣，冷酷而嚴厲，因此阿爾伯特感到很不快樂。這些老師堅持相同的原則，他們是帶兵的官，而不是學生的良師益友。他們對學生提出的問題很不耐煩，而阿爾伯特就是這類老師最不喜歡的學生，因為他不願以最簡單的方式死記他所學到的東西，他一定要知道“為什麼”，有時候還會提出令人困惑的問題。阿爾伯特經常因為未曾準備功課，而在放學後被留下來。他覺得這段時間比平常上課更為乏味。
在以後的歲月裏，他一直記得，在慕尼黑的眾多老師當中，隻有一位是他的朋友。這位老師名叫路易斯，他給這位小男孩講授席勒、歌德及莎士比亞的作品。對阿爾伯特來說，詩歌就像音樂一樣美好，他也非常喜歡莎士比亞的劇本。許多德國人堅持說，莎士比亞的作品受席勒的影響很大。他永遠記得，當他初讀歌德的長詩《赫爾曼與竇綠苔》時，他的內心非常激動。
就在這時，阿爾伯特又結識了一個朋友，這個朋友引導他進入另一個迷人的世界。
遵照古老的猶太習俗，赫爾曼先生每周都會邀請一些貧苦的學生到家中用餐。每周四到赫爾曼先生家中吃晚餐的是一位俄國籍的猶太人，他是慕尼黑大學的醫科學生，名叫馬克思·塔爾穆德。塔爾穆德試圖開導這個羞怯的小男孩，因為阿爾伯特在學校的成績使得望子成龍的父母非常擔心。