她來到拉奧裏的府上，見門口貼著逮捕拉奧裏的告示，已然明白發生的一切。拉奧裏反對第一執政的事情，雨果夫人比誰都清楚，她心慌意亂，但是並不感到詫異。
過了幾天，雨果夫人找到了一處宅院，這處院子坐落在克裏希大街24號，條件還算舒適。這一方小天地就成了維克多和哥哥們的遊樂場，他們在這裏追逐打鬧，常常忘記吃飯的時間。小雨果此時已經有了記憶，多年後，他仍然能夠描述出當時的景象。
就在小雨果平靜地過著幼年的時候，他的爸爸萊奧波德上校這個時候已經受到了約瑟夫·波拿巴的重用。萊奧波德上校隨著這位顯赫的上司開赴意大利，開始了時來運轉的軍旅生涯。
在征服那不勒斯的一次戰役裏，這個英勇善戰的少校先生有了嶄露頭角的機會。那是在卡裏那布亞，一群當地的綠林武裝與法國軍隊展開了一場殘酷的拚殺。這些人中有的是土匪，有的是愛國者。
萊奧波德上校就在這次浴血戰鬥中，俘獲了當地最有名的一個首領——名叫米歇爾·貝劄的抗戰者。
這件事帶來的巨大榮譽，使上校迅速晉升成為了阿維利諾省的總督。當消息傳到巴黎的時候，雨果夫人還是感到很高興，因為此時盡管她不夠愛自己的丈夫，但是生活的開銷已經是個負擔了，她認識到，丈夫晉升意味著孩子們又有好日子過了。
為此，索菲不得不考慮投奔丈夫，與他言歸於好。雖然萊奧波德上校不想妻子和孩子此時來軍營裏，但是索菲對丈夫的不滿毫不理睬，也不通知他，便於1807年10月擅自出發向意大利來了。
小雨果當時隻有5歲，但非常敏感、專心。他終生不忘坐著驛車穿過整個法國的這次旅行：射尼斯山峰，在雪橇下“嘎嘎”作響的冰塊；一隻被打下的山鷹，後來在山上被大家煮著吃了；尤其是吊在樹枝上的一些血淋淋的屍體給他留下了深刻的印象，他和哥哥們一同透過車窗玻璃看著這些屍體。
在玻璃上，他們為了解悶，貼了一些草稈做的小十字架。對死刑的恐懼，對酷刑和絞刑的厭惡，絞架與十字架在他心中形成的對比一直在他的腦際縈繞，足可以在他童年的鮮明印象中找到根源。
比起南方色彩強烈的景色，雨果夫人更愛布列塔尼的花園。因此，她隻把注意力放在家務事上。而那不勒斯，這個“穿著墜藍纓的白袍，在陽光下燦爛輝煌”的那不勒斯使孩子們心醉神迷。而且，在旅途的終點，孩子們看到爸爸穿著筆挺的軍裝前來迎接他們，感到非常自豪。作為一省總督的兒子，屬於征服者這個陣營，的確是令人慶幸又驕傲的。
在意大利，這三兄弟住在一座大理石牆麵已經開裂的宮殿裏，不遠處有一道深溝，兩旁種著茂密的核桃樹。不用上學，無拘無束，這種度假的滋味，雨果終生都回味無窮。
他們有一個權勢顯赫的父親，平時很難看見，有時回來一會，便挎著馬刀，裝出騎馬的姿勢，逗引孩子們。總有幾個戴著亮閃閃的頭盔的騎兵在院裏恭敬地等候。
這位父親深受那不勒斯國王的垂愛，而這位國王是皇上的兄弟。他早已在科西嘉王家軍團的花名冊上，寫上了小維克多·雨果的名字，從此，小雨果就自認為是該軍團的一名戰士。
萊奧波德也在信中滿懷喜悅地寫道：
維克多，那最年幼的孩子，顯出很有學習能力。他和他大哥一樣穩重，又很謹慎。他話不多，從不亂說。他的思考能力好幾次令我拍案稱奇。他的相貌甚是可愛。這三個孩子都好。他們互敬互愛。兩個哥哥非常喜愛他們的小弟弟。他們若離開我，我會感到憂傷。然而此處無法讓他們上學，必須送他們去巴黎才行。
其實，這也並不是萊奧波德要將小雨果送回到巴黎的原因。
他和妻子之間，並沒有出現任何形式的和解，孩子們覺察出這些秘密的鬥爭，但他們並不十分清楚內幕。他們既為父親自豪，同時又知道他常常觸犯他們敬愛的母親。他們帶著惆悵的心情離開了富麗堂皇的大理石宮殿。
他們在意大利遇見了富歇的兩個孩子，其中維克多·富歇當時5歲，阿黛爾4歲。阿黛爾是一個做事經常心不在焉、想入非非的小女孩。雨果家的3個男孩把她當做朋友，他們一起玩滾球的遊戲。滾球的遊戲對於孩子來說，實在是再好玩不過了。圓圓的皮球可以在地上滾來滾去，這讓他們覺得非常有趣。在追逐和奔跑之間，他們之間的友情不斷加深。
富歇一家與雨果夫人及兒子幾乎同時離開意大利。
斐揚底納的花園
1809年2月，在巴黎，雨果夫人索菲在斐揚底納胡同12號租了一套寬敞的住室。這是由奧地利的安娜修建的古老修道院的底層。這時她一年收到3000法郎的生活費，不久，又增至4000法郎。
在這裏，客廳幾乎夠得上貴族的標準，光線明亮，充滿鳥語花香，空氣流通。透過院牆，可以望見瓦爾·德·格拉斯教堂的壯麗穹頂，花園很大，一個庭院，一片樹林，一塊平地。一片栗樹林中開出一條小徑，通向一架秋千。這裏可以讓孩子們玩打仗的遊戲。
雨果兄弟倆很喜歡巴黎，特別喜歡家中那個樹木叢生、繁花盛開的花園。他們常常在叢林中玩捉強盜的遊戲；欣賞金色的花蕾、雛菊、長春花；觀察齧齒動物吞吃小鳥，小鳥啄食昆蟲，昆蟲間又你撕我咬的情景。
雨果從父親那裏接受了一種狂熱的想象力，他把這個既美麗又令人害怕的花園想象成一個神秘恐怖的“原始森林”，每天在花園裏尋找著新的東西，進行著新的“探險”。
雨果後來在詩集《光影集》中用詩歌描述了那個令他流連忘返的花園：
在我滿頭金發的童年，唉！可惜它轉瞬即逝！
有三個老師：母親，老神甫，一個花園。
花園深邃而神秘，又簡直大得無邊，
圍著高牆，擋住了好奇者們的視線。
園中遍地鮮花含笑開放，就像眼睛在張開，
奇蜂異蝶在山石間繁忙。
空中回蕩著“嗡嗡”的蜂鳴。
花園深處像樹林，中間就像是空地。
神甫他讀荷馬和塔西陀，博古通今，
老人和藹可親，母親——那就是我母親！
老教士是指拉裏維埃爾，是一位還俗的奧拉托利會成員，與他的女仆結了婚。
他和妻子一起在聖·雅克大街開辦了一所學校。當他打算教小雨果念書時，發現雨果自個兒已經學開了。但拉裏維埃爾熟讀塔西陀和荷馬的著作，能夠教他拉丁語和希臘語。在他的幫助下，雨果翻譯了《詩簡》以及《曆史》、坎德·居爾斯和維吉爾的作品。
拉丁語緊湊的形式使他產生了興趣。小雨果喜愛這門結構縝密的語言。
萊奧波德決定放棄和妻子和好的打算，但不準備放棄對自己孩子的保護權，他在信中寫道：
你很有良心。我也問心無愧。我們暫且把所有的過失撇在一邊，不要追究誰對誰錯。讓歲月來衝淡這不幸時期的記憶吧！培養你的孩子，叫他們尊敬我們，讓他們接受合適的教育，以便有朝一日能做點事情。既然我們感到難以破鏡重圓，那麼，讓我們更愛孩子們吧！
這樣，大哥阿貝爾進了中學，而雨果和他的小哥哥則進了一家由一個神甫開的私人學校。
每個星期天，阿貝爾從中學回家，弟弟們便領他在這個天堂玩耍。他幾天的不快一掃而光，又變得興高采烈。
還有兩個遊戲夥伴來到斐揚底納，維克多·富歇和阿黛爾·富歇。他們是一起來到巴黎的。
雨果在栗樹林中安裝了一架秋千，他慷慨地讓阿黛爾跟他們一起去蕩秋千。這個小姑娘自豪地，然而戰戰兢兢地坐上秋千，她有些膽小，總是再三囑咐他別把她送得像上次那麼高。
他們有時候會把阿黛爾放進一輛老掉牙的、走起來一拐一拐的破舊的獨輪車裏，蒙上她的眼睛，推著她在小路上走。然後讓她必須說出車子走到了什麼地方。要是她偷偷地掀開蒙住眼睛的手帕偷看的話，他們就用力地把手帕紮緊，然後，大聲地問：“你來到哪兒了？”這樣捉弄阿黛爾的遊戲也讓他們樂此不疲地玩耍半天。但是他們最喜歡的遊戲還是男孩子們愛玩的“打仗”的遊戲。
玩“打仗”遊戲的時候，他們會去拔些撐樹的小支柱做長矛，然後分成不同的陣營展開“戰鬥”。打仗在小雨果這樣的小男孩看來是非常了不起的遊戲，似乎隻有這樣的遊戲才能顯示出他作為一個“男人”的英雄的一麵。小雨果盡管年齡最小，但他的好勝心卻強，在打仗的遊戲中，一定要做“常勝將軍”。如果他不戰勝其他孩子的話，他是絕不輕易善罷甘休的。
雨果曾在後來的文章中寫道：
我又看到了我小時候，還是一個天真爛漫的學生，和哥哥們在一起，在花園裏綠草如茵的小徑上奔跑、玩耍、歡笑。在這個瓦爾·德·格拉斯教堂深暗的圓頂俯瞰著的古老修道院的庭院裏，度過了我最初的年月。
在斐揚底納，沿牆種植的樹後麵，透過生蟲子死掉或被挖掉的果樹的空缺，可以看到牆上留下的臨時的祭壇和聖母像座留下的痕跡，以及殘留的十字架。那是一片殘敗的景象。
當索菲跟雨果兄弟們來到巴黎不久，萊奧波德上校就被約瑟夫·波拿巴召到馬德裏。此時，後者已是“西班牙國王”。皇帝封為國君，如同別人任命上校一般容易。
最後，在萊奧波德的弟弟的勸說下，索菲不得不決定帶領孩子們前往西班牙。