索菲還在一個圖書館注了冊，以後便經常打發孩子們去為她挑選書。這兩個孩子一個8歲，一個10歲，在一個穿著路易十六時代的褲子和花色條紋襪的古怪的老好人做主的圖書館裏隨心所欲地亂翻。
雨果母親讀書非常勤，這就使得兩個孩子三天兩頭地要往圖書館跑，漸漸的，他們也愛上了書，竟把圖書館底層的藏書都讀完了。
圖書館的樓上有一個亭子間，裏麵放著一些思想傾向相當激進的書。圖書館老板盧阿約爾不讓兩個孩子進去。雨果的母親知道了，對老板說：“書籍從來不會產生什麼惡影響。”
於是，雨果兄弟倆便有了隨意進出亭子間的自由。這裏是一個小小的書的世界，書架上堆滿了書，地上也鋪滿了書。
雨果兄弟倆在這書的海洋中遨遊，常常一看就是幾小時。散文、詩詞、隨筆、遊記、科學，各個門類的書他們都讀。
歐仁和雨果經常趴在地上讀書，他們發現了盧梭、伏爾泰、狄德羅、雷斯蒂福、德·拉·布列塔尼等人的著作以及《弗勃拉》和《科克船長旅行記》，那些驚險的情節，曲折動人的故事使雨果愛不釋手。日後當雨果開始寫戲劇和小說時，他給讀者講的也是這類引人入勝的故事。
阿貝爾、歐仁和雨果都在寫詩。雨果寫滿了好些本子，他的思想傾向於古典的節律。不用說，這些詩句既未押韻，又不合轍，算不上詩。雨果雖然無師指導，又不懂詩律，但還是大聲地念他所寫的東西，發現不行，又推倒重來，尋找合適的字眼，直到聽起來不覺刺耳才住手。他慢慢摸索，掌握了有關節拍、頓挫、韻轍和陰陽韻交錯的知識。
索菲要求兩個孩子順從，有禮貌，她是嚴厲的，但又保留著溫情，有正常的、嚴格的紀律，既不讓孩子們放任自流，也不使孩子們事事不知。經常進行一些富有教育意義的嚴肅的談話，這便是那種如此深沉、專注、細心的母愛的主要特征。
索菲雖然是又重新回到了巴黎，與丈夫萊奧波德分居兩處，但是經過了約瑟夫國王的調停，有國王的欽斷應該是一個不小的勝利了。
1813年，繼約瑟夫·波拿巴失敗之後，萊奧波德將軍被迫回到法國。9月，他帶著阿貝爾一同移住波城。
1813年9月24日，索菲給兒子阿貝爾寫了一封信，信中寫道：
我並未想到你父親會禁止你給我寫信，但假若情況果真如此，那麼從許多方麵來說，這種行為都該受到譴責。你的任務就是拒絕服從。如果我忽視了人們天生的神聖權利，禁止你的弟弟給他們的父親寫信，那麼，他們也不應該服從。
倘若他已下禁令，你就背著他給我寫，以避免偏見在你們中間造成一些煩惱和爭吵。這種偏見已經使你父親喪失了理智。我看得出來，我可憐的孩子，和這個人生活在一起，你得受很多苦。
我經常為你的命運，甚至為你父親的命運落淚。他使我們受了許多苦，但他也給自己帶來許多痛苦，並且這種痛苦有增無減，我的阿貝爾，希望你能過上好日子。尤其是你得把我們共同的不幸引以為訓。並且看荒謬的愛情和缺德的行為要發展到何種地步。
盡管在西班牙萊奧波德官居將軍，但在法國他卻隻是一營之長。答應給妻子的生活費沒有兌現，怎樣生活，成為索菲必須麵對的問題了。斐揚底納的花園已被巴黎市政當局征用，以延長於勒姆大街。索菲便搬到老杜伊勒利大街2號，與富歇家比鄰而居，為的是利用他們公館的花園。
雨果在斐揚底納再次見到阿黛爾·富歇，他們一同散步交談，一邊緩緩而行，一邊輕聲說話，手互相觸碰一下，便會發抖。這個時候，小女孩已經變成少女了。
1814年1月，反法聯軍已經向法國本土挺進。此時正是用人之際。於是萊奧波德的要求得到批準，被任命為第昂維爾一個馬上就要被反法聯軍合圍的城市的要塞司令。
這個期間，索菲的大兒子阿貝爾也回到了母親的身邊。盡管手頭並不寬裕，但是索菲還是為兒子做了一件新衣服。
萊奧波德少校又成了將軍。在反法聯軍圍攻第昂維爾的5個月中，他不避矢石，身先士卒，使三色旗始終驕傲地飄揚在要塞的碉堡上。直至拿破侖宣布退位，他才率領士卒光榮地退出。
這一年萊奧波德將軍42歲。從這以後他就再也沒有被起用。對於一個健壯得滿身的精力要往外迸射的軍人來說，在這樣的年齡歸隱田林，實在是一件殘酷的事。
而且波旁複辟王朝根本不買共和國的賬，退休後的雨果將軍隻能享受2/3的退休金。對於既死要麵子又要負擔一大家子人生活的雨果將軍，這個雙重打擊的劇烈程度，實在是可想而知的了。
然而，波旁王朝複辟後，雨果夫人大喜過望。她的保王主義思想曾經冷卻。隻要她的丈夫需要依靠波拿巴家族，她便克製住自己，不讓擁護國王的感情有所流露。自從拉奧裏慘遭殺戮，她對篡位者的仇恨變得更強烈。
拿破侖帝國崇尚綠色。所以每逢波旁王朝的群眾性節日，她都要穿上白色的上衣、綠色的皮鞋。這樣做的目的，按她的說法就是：“每走一步都把拿破侖帝國踐踏一下！”
為了爭得每一個法郎，索菲都要和丈夫大費口舌。戰爭的陰雲一刻也不曾離開過這個可悲的家庭。在雨果將軍和雨果夫人殘留的來往書信中，我們可以經常看到夫妻倆為了幾十個法郎而爭得麵紅耳赤的記錄。
萊奧波德將軍在第昂維爾要塞一直待到1814年5月。他曾寫信給國王，保證忠於他。他想，不論政府如何，一個軍人應該忠於自己的祖國。這種思想高尚，卻不嚴肅。
在這期間，他的妻子索菲由阿貝爾陪同來到第昂維爾索討生活費。在母親外出期間，歐仁和雨果在富歇家度過他們的空閑時間。
為此，雨果在1814年5月23日給母親的信中寫道：
親愛的媽媽，自你走後，大家在這裏都覺得無聊。我們經常去富歇先生家，就像你叮囑我們的那樣。他提議讓我們去旁聽人家給他兒子上的課。我們謝絕了他的好意。
每天上午，我們學習拉丁語和數學。富歇先生帶我們上博物館參觀了一次。快點回來，你不在，我們不知該說什麼話，該做什麼事。我們坐立不安。我們不斷地想念你，媽媽！媽媽！
萊奧波德早想把兒子們從這個“可恨的”妻子手裏奪過來，已經讓他妹妹把他們從富歇家領走了。他1814年9月到巴黎時，根據父親的權力，把他們送到哥爾第埃寄宿學校就讀。