學校是由教士們主持的。那個接待他們的教士身穿黑色長袍，脖子上掛著白色翻領，一對眼睛陷在肉裏，使得那個鷹鉤鼻子顯得分外突出，整個臉看上去很凶。使雨果很吃驚的是，他的臉異常消瘦、蒼白，肌肉像是沒有彈性、已經硬化了似的。後來雨果才知道他叫唐巴傑爾。
唐巴傑爾有一個下屬叫唐馬虞爾，他跟唐巴傑爾完全不同。他那胖胖的臉上總是堆滿了笑容，顯得非常和藹可親，說話活潑有趣。他站在冰冷鐵板似的唐巴傑爾旁邊，就好像是一個中產階級市民伴隨著一具幽靈。
學校的飲食原本量就很少，再加上那年又逢災害，學生的食物越來越少，學生們肚子裏饑腸轆轆，有幾個大膽的便吵鬧起來，唐馬虞爾便教學生在肚子上畫十字，說這樣肚子就不餓了。
唐馬虞爾雖然跟孩子一起吃飯，並不比他們多吃，可是卻並不見瘦，反而更胖了。同學們都懷疑他躲在房子裏偷吃了東西。不多久，雨果兄弟對他的和善也有了進一步的了解。他當麵奉承學生，可背後卻常常向唐巴傑爾打小報告。學生受了罰，他還要做出一副很難過、很同情學生的樣子。相比之下，雨果兄弟覺得還是唐巴傑爾好，他雖嚴厲，但表裏如一，並不虛偽。
當時，學生們必須輪流去做彌撒。但索菲是不信宗教的，她告訴唐巴傑爾，說孩子是新教徒。盡管如此，他們仍然受到尊重，一方麵是因為他們的父親讓人敬畏，另一方麵則因為他們表現出掌握了驚人的拉丁文知識，這點令教士們意想不到。
唐巴傑爾拿出當時西班牙拉丁文的初級讀本《詩簡》和《曆史》，他倆根本不用字典，隨口就譯了出來。
為此，安排8歲的雨果和10歲的歐仁他們的學習，曾使唐巴傑爾非常為難。
因為年齡的緣故，唐巴傑爾先把他們放在小學部。可是別人的作業還沒開始，他們已經完成了，剩下的時間就一直閑坐著。
唐巴傑爾隻得讓他們升了一級，然而情形還是一樣，於是又升一級，還是不行，最後，他隻得下決心把這兩個孩子放到了大學生部，與十五六歲的少年一起學習，就這樣，在一星期中他們一下子升到最高的班。
大學生們一開始很看不起這兩個稚氣未脫的小孩，後來看到自己翻著字典還苦思不得其解的課文，雨果兄弟卻能隨口講解時，才自愧不如，對他們平等相待了。
小小的年紀，離開了溫柔可親的母親，來到這四壁森嚴的大廈裏，雨果心裏非常悲傷，特別是晚上，寬大的宿舍裏點著幾盞昏黃的油燈，到處是黑黢黢的，那情景真是又淒涼又可怕。
可是一到早晨，當曙光透過窗戶照在床頭那具耶穌像上時，那情形便有點變了。造成這種變化的是學校中的一個仆人。他是一個駝子，生著緋紅的臉，頭發編得像一條條繩子。
他是個身穿紅羊毛上裝、藍短褲、黃襪子的駝背，地地道道的宮廷小醜，照看有150張床的宿舍。西班牙孩子都管他叫“柯柯維塔”。
這個長相奇特衣著鮮豔的矮人是學校裏的活鬧鍾，每天早晨5時，他總是在床頭的木架上“啪啪啪”地發出3聲響聲，把孩子們從睡夢中喚醒。睜眼見到他那古怪的身形，孩子們便嘻嘻哈哈地笑了起來，雨果心中的憂傷頓時便消失得無影無蹤。
孩子們喜歡跟這個小矮人開玩笑。他們不滿意他的時候就叫他“駱駝”，對他表示好感的時候就叫他“小駱駝”。而他則不管孩子們怎麼對待他，總是笑嘻嘻的。
後來，雨果常常回憶起當年的情景，為自己戲弄過這殘疾的人而萬分內疚，於是他將這可憐的人變成了他的著名小說《巴黎聖母院》中的卡西莫多，變成了《笑麵人》中那個被人販子破了相的侏儒冠普倫，在他們那醜陋的身體中都跳動著一顆極善良的心。
重新返回了巴黎
在雨果上學的期間，索菲跟萊奧波德之間的關係越來越糟。約瑟夫國王從巴黎回到馬德裏後，發現了索菲寫的難以數計的狀紙，便把她召來，垂聽她的投訴，之後，又立即將萊奧波德將軍召到了馬德裏。
萊奧波德將軍急速趕來，在國王的最後裁決之前，不得不在所有方麵作出妥協。他同意在馬德裏任職，同意住進馬斯拉諾宮，同意將兒子們接出貴族中學，同意立即付給妻子3000法郎，這樣，她就不會再身無分文了。
萊奧波德還寫信給索菲，他在信中說：“今晚，在陛下這兒用過晚餐後，我會來看你。我給你送一箱蠟燭來。再見，朋友，相信我對你的愛情吧！”
爭鬥的結果充分體現了女士優先的原則。在國王的直接幹預下，13歲的阿貝爾直接留在侍衛團。而索菲則獲準帶著年幼的歐仁和雨果重返巴黎。國王同時還決定，萊奧波德將12000法郎的宮廷大臣薪金必須預先寄給伯爵夫人，從此不再談及分居，這便是她獲得的勝利。
雨果兄弟倆歡天喜地地離開了那個陰森的寄宿學校，踏上了歸途。歸途是艱難危險的，西班牙人對悍然入侵的法國人非常憎恨，因此雖有衛隊護送，仍然無法使雨果母親安心。
由車隊護送的歸途漫長而難受。年幼無知的雨果雖不像母親那樣擔心，可是也親眼目睹了戰爭的酷烈。
在布爾戈斯的一個廣場上，雨果見到了一個三腳木架，架上插著一根木杆，他不明白這木杆是用來做什麼的。旁人告訴他這是絞架，馬上要絞死一個人。
這是雨果第一次見到絞人架，其印象之深，使雨果終生難忘，雨果後來畢生為廢除死刑而戰，他為此曾寫了小說《死回末日》。
然而，雨果腦中留下的西班牙別的情景，在他看來，卻顯得高尚美好。這裏的人民為什麼要把法國侵略者趕出去，他對此隱約有所理解。
這個時候，雨果不由想起來拉奧裏曾經說過的話：“孩子，自由高於一切。”
西班牙總是吸引著法國人，因為它保存著原始狀態的情感。
年輕的雨果從這次旅行開始，腦海中就經常浮現一些無名的幻影，它們後來變成了歐那尼、呂意·高密、德·西爾瓦、唐·薩路斯特、呂意·布拉斯等。他的腦際浮現著血淋淋的情景和明媚亮麗的美景，以及一位長著兩隻大眼睛，一頭濃發，皮膚白中帶金黃，朱唇，粉頰的西班牙小姑娘，這個14歲的安達盧西亞少女名叫貝巴。
自從和西班牙的短暫然而親切的接觸後，雨果一生的思想完全被最初所獲得的印象左右了。
雨果和他的母親終於回到了巴黎。見到了那幢鮮花與綠草環抱的房子，雨果高興極了。
由於忠心耿耿的拉裏維埃爾夫人的收拾，花園打掃得幹幹淨淨，烤釺上插著烤肉，床上鋪著罩單。很快，拉裏維埃爾夫人又開始教授他們拉丁文了。
雨果母親是主張放任教育的，雨果和歐仁不再去學校。拿破侖公學的校長想收他們入學，卻受到雨果夫人冷漠的接待。她也分擔了孩子們對於寄宿的恐懼。所以，雨果在學習之餘便在花園裏盡興玩耍，他們從大自然這本書裏學到了許多東西。