宗教、深淵、帝國、空間和時間，雨果翱翔在這一切之上，視野之寬廣隻有但丁和彌爾頓才能相比。在《撒旦的末日》這首詩裏，他刻畫了黑暗中天使的毀滅，並用讚美的詩句歌頌了基督的激情。
至於定名為《上帝》的那首長詩，則是思想在世紀、宗教之間的奔馳。
政治流亡者的生活條件是艱苦的。艱苦對於雨果來說是可以忍受的，但不能接受。
一旦寄居國的政策要求和流亡者的祖國親善，流亡者便必然成為犧牲品。
1854年的一個下午，雨果正在散步，突然看到人們正往海邊的一個廣場奔走。雨果是個極富好奇心的人，又正閑著，也就隨著人群走。到了海邊廣場，才知道是劊子手正在對一名死刑犯執行絞刑。
早在1828年，雨果就表示堅決反對死刑，為此他還專門寫了一本書《死囚末日》。他認為對罪犯實施死刑，以暴易暴是對人類道德文明的羞辱。因此，當他目睹澤西島這樁慘劇之後，他徹底忘記了自己流亡者的身份，當天晚上就用辛辣嘲諷的筆調，給英國公共事務大臣帕麥斯頓勳爵寫了一封信。
他在寫給帕麥斯頓勳爵的信中嚴厲地寫道：
先生，您把那個人吊了起來。好極了。我衷心祝賀您。在這件事好幾年以前的一天，我曾經和您共進過晚餐。我想，您也許已經忘記了這件事，可我還記憶猶新。當時您給我留下的最深印象，是結領帶的那種罕有的方式。有人告訴我，您以善於為自己打領結而揚名。現在，我發現，您還頗善於為他人打領結啊！
雨果是有理的，可是一個外國人，有理便是錯。
雖然雨果在信中用了許多自嘲的筆調，但他對於野蠻死刑的不滿與譏諷是不言而喻的。不過帕麥斯頓到底還是個紳士，他笑了一笑，把信往秘書手裏一推，也就不了了之了。
到了1855年，雨果與英國當局的矛盾日益加劇了。
1855年，小拿破侖前來英國拜會英國女王，流亡者們在小拿破侖必經的道維爾市的牆壁、柵欄上貼了許多傳單，上麵寫著：“您到這兒來有何貴幹？您打算來淩辱誰呢？是淩辱以英國人民為代表的英國，還是淩辱以法國的流亡者為代表的法國？”“您給這個國家帶來了什麼呢？這是托馬斯·莫爾、莎士比亞、彌爾頓、牛頓、瓦特、拜倫的國家，這個國家不需要學習蒙馬特爾街心花園那類齷齪的榜樣。”
英國警察隻得到處撕扯傳單，累得筋疲力盡。於是在英國國會上提出了雨果的問題。
在1855年10月，維多利亞女王回訪法國皇帝時，流亡倫敦的法國共和黨人費裏克斯·比阿用粗俗的方式攻擊了女王。他拿這次訪問開玩笑，說她在訪問中“替康羅貝爾洗澡，笑飲香檳酒，擁抱熱羅姆”。比阿致女王的這封公開信是在澤西島流亡者辦的報紙《人類》上發表的。
比阿說：“為了愛上這位盟友，您犧牲了一切，犧牲了女王的尊嚴、婦女的謹慎、貴族的驕傲、英國女子的情感；犧牲了身份、血統、性別；犧牲了一切乃至廉恥。”
《人類》報的主編查理·理貝勞爾元帥，該報的董事皮昂西尼上校以及一個叫托馬的普通售報員，都根據英國政府的命令被驅逐出境。
雨果對《致女王的公開信》持保留意見。他覺得信的格調低，但他又為受害者辯護，在一份措辭強烈的抗議書上簽了名，反對驅逐他們出境。
10月27日，要塞司令聖克勒芒彬彬有禮地通知雨果和他的兩個兒子，根據帝國的決定，他們不能在本島繼續逗留。給他們一個星期做準備，限期11月4日離境。
10月31日，雨果和他的小兒子離開了澤西島，起程前往附近的格恩濟島。
阿黛爾母女和瓦克裏隨身帶著35件行李，最後趕到。有一次，一個沉重的箱子在搬往小船時，在波濤洶湧的海麵上搖晃了好幾下，險些掉入海中。那裏麵裝的是《沉思集》、《悲慘世界》、《撒旦的末日》、《上帝》、《街頭與林間之歌》的手稿。這麼多不朽的名著同時遭遇這麼大的風險，恐怕是空前絕後的。
格恩濟島是一個三角形的島嶼，這裏曾經是流放犯人的地方，島上高聳著一個個懸崖。在一個懸崖頂上有一座三層木質結構的樓房，從這裏可以鳥瞰英吉利群島的全景。
這座樓房便是雨果在格恩濟島上的“上等別墅”。現在已辟為雨果紀念館。當年雨果買下這座樓房後，很想把它變成一件藝術品，因此他做了精心的裝修，不少房間的格局都是雨果親自設計的。
底樓客廳的牆壁上掛著木製鑲板，上麵畫著《巴黎聖母院》的場麵。樓下還有一個台球房，飯廳壁爐的爐台上放著一尊救苦聖母像，像下有4句銘言：“人民還小，但將要長大。在你神聖的懷抱裏，豐產的母親啊！逐步爭取世界的聖潔的自由神啊！你抱著聖嬰，聖嬰抱著天下。”
雨果非常喜歡島上深居簡出的生活，孤獨的狀態使他文思泉湧，他完成了詩集《默想集》、史詩《古今史吟》、長篇小說《悲慘世界》、《海上勞工》、《笑麵人》等。
但是，雨果的妻子和女兒卻無法適應這種單調、缺乏社交的生活，1859年，雨果夫人便帶著女兒前往倫敦治病散心。雨果看著郵船載著妻子與女兒離開了格恩濟島，他心裏很矛盾。
5月份，阿黛爾和女兒回來了。6月份的時候，雨果平生第一次染了重病，好幾個星期裏，一個癰瘡使他麵臨生命的危險。
1859年的整個下半年裏，煩惱一直纏繞著雨果。而妻子和孩子們離開海島換換空氣的時間也越來越長了。
1859年，波拿巴也作出了開明的姿態，他頒發了對流亡者，包括對雨果的特赦令。許多流亡者都返回了祖回，但是雨果卻不願回去。在雨果看來，回去，便意味著向帝國低頭，承認自己失敗，跟暴君和解，這是絕對不可能的。在給一位老朋友的信中雨果寫道：“責任不允許我回國。我感到很痛苦，但我這一行動是正確的。”
他在一份聲明中說道：“我忠於在良心麵前承擔著的責任，我要在有自由的流亡生活中堅持到底，直至法國恢複自由的時候，我才返回。”