《小拿破侖》脫稿後，雨果在流亡者的集會上朗誦道：
波拿巴先生，你應該了解天理良心是什麼，哪怕是稍微了解一下也好。世界上有兩樣東西，名叫善和惡。你覺得這新鮮嗎？那就隻好向你解釋一下：撒謊——不好，背叛——醜惡，屠殺——更其下流。這樣做雖然有利，然而天理難容。是的，大人，天理難容！誰敢反對？誰不允許？誰能禁止？
波拿巴先生，你可以稱王稱霸；可以得到800萬選票來支持你犯罪；可以得到1200萬法郎來花天酒地，擺布參議院並把西布爾安排在裏麵；可以有軍隊、大炮、要塞；可以有在你麵前匍匐膜拜的特羅隆之流和巴羅什之輩；你可以做暴君，當太上皇——但是，冥冥之中有一個無形的陌生過客將站在你麵前大喝一聲：你不能這樣做！
《小拿破侖》成了流亡者的精神寄托。許多流亡者，大仲馬、瑞拉泰等不時光臨雨果簡陋的住處，為的是能對《小拿破侖》新寫的章節先聽為快。
文稿完成後，對文稿充滿了希望的雨果不得不考慮下一步的走向。很顯然，文稿一旦付印，勢必對雨果和雨果一家的財產產生直接的威脅。波拿巴政府已經公布了反對《濫用書報法》。按照這個法令，犯有這種“罪行”的法國人，即使身在國外，也要被罰款或者被沒收財產。
雨果決定隻要能夠得到比利時政府的批準，就把全家搬到布魯塞爾來，或者幹脆搬到英國所屬的澤西島去。布魯塞爾市市長已經向他透露，比利時政府很可能要頒布一項法令，禁止對友邦政府首腦進行侮辱性攻擊。如果真的那樣，他肯定存在被比利時政府驅逐的可能性。
一番權衡之後，雨果還是決定把下一站放在澤西島。布魯塞爾距離巴黎太近了。為此，他委托阿黛爾對他在巴黎的財產，一些房屋、家具、古玩圖書等，進行了大拍賣。雖然這場拍賣使雨果幾十年精心搜集的藏品損失殆盡，但是為了《小拿破侖》的出版，他隻有忍痛割愛了。
1852年8月1日，在以主席身份主持了一個流亡者的盛大宴會之後，雨果和他的兒子查理·雨果一起乘船離開比利時。
離開比利時的時候，雨果豪邁地說：“我為了打擊十二月陰謀並扭住國賊，所以從法國流亡出來，現在為了寫《小拿破侖》又從比利時流亡出來了。沒有什麼，多被放逐一次，如此而已。”
雨果和兒子從布魯塞爾起程。岸上站滿了送行的人，他們中大部分是居住在布魯塞爾的法國流亡者。當雨果登上郵船時，婦女們揮舞著頭巾，男人們則高喊：“維克多·雨果萬歲！”
雨果禁不住熱淚盈眶，他高喊著：“共和國萬歲！”來回答人們。
這時候下起了滂沱大雨，但雨水並沒有驅散送行的人們，所有的人仍然站在岸邊，直至郵船離去。人群中可以見到大仲馬的白色坎肩。
澤西島是一個接近法國的小島，島上長滿了鬱鬱蔥蔥的植物，到處點綴著美麗的玫瑰。
雨果很快就愛上了這個被他稱之為“世界上最好的流放地”的小島。當然最使他興奮的還是《小拿破侖》出版發行的成功。
它印行了100萬本以上，英、德、西班牙都有譯本。人們整千本整千本地偷運進法國，大仲馬說：“我們的一個朋友最近就在小拿破侖的半身像裏還偷偷地藏了20多本帶進了法國。”
路易·波拿巴對這“該死的謗書”大傷腦筋，他雷厲風行地禁止，但是沒用，而且越禁止，看的人越多，沒有書，那就借一本來抄。波拿巴現在應該認識筆杆子的力量了。
1852年8月，在一個火熱的夏日，3位旅客，維克多·雨果夫人，她的女兒小阿黛爾以及她的追隨者奧古斯特·瓦克星一同乘船抵達澤西島。他們途經南安普敦村，對頭一次在那裏吃到的烤牛肉留下了極壞的印象。
兩天後，雨果和夏爾也趕到金蘋果旅店和他們會合。流亡在澤西島的人數相當多，但身份要比在布魯塞爾的低。他們來到碼頭迎接詩人，和當地居民一起向他歡呼。
維克多·雨果由於長期勤奮工作，不修邊幅，樣子變多了。這位頭發卷曲，風流倜儻頗具上流社會派頭的人物，完全變成了一個粗獷的勞動者，飽經苦楚的臉龐顯得憔悴，眼睛炯炯有神而又專注。
不過，他很快便恢複了那種快活和清醒的神智。
雨果一家在海邊租了一座單門獨戶的房子，人們叫它“望海閣”。每天雨果都在海邊漫步，遙望遠方薄雲繚繞的祖國海岸。
每天清晨，當小島還沉浸在睡夢之中的時候，雨果便站在寫字台前揮筆寫作了，他喜歡站著寫作，因此他的書桌特別高。繼雨果之後，美國的著名作家海明威與雨果不謀而合，也喜歡站著寫作。雨果寫得很快，幾乎無一塗改，那些詩句是昨天在海邊散步時醞釀成熟的。
雨果興猶未盡，他覺得應該繼續寫下去，這次他決定寫一部詩集。他說：“壞蛋們既然隻有一麵被烤，那我把他們翻過來烤。”
不論是白天黑夜，人們都看到這個能言善辯、義憤填膺的人沿著海灘和沙丘，朝羅紮爾懸崖峭壁方向漫步。整整一個秋天，憤怒激發他寫出許多出色的詩篇。
他不但寫了《土倫》、《諾克斯》、《贖罪》，還寫了《良心》與《基督初次接觸墳墓》。自1852年11月以來，連同在巴黎時留下的那些反對“正直人”的詩篇，他一共寫詩1600行。他希望能寫到3000行。詩中充滿著大量的諷刺和詛咒。任何流亡者，由於與行動脫節，失去了有節製的觀念，往往會變成一個糟糕的政治家，但也可能變成著名的詩人。
雨果也和但丁一樣，在他把怒火傾注到詩篇中的同時，又在為自己的這種怒火辯解。
雨果給這本怒斥罪惡的詩集取名為《懲罰集》。與《小拿破侖》相比，這本詩集在揭露波拿巴的罪惡和本質方麵顯得更加痛快淋漓。同時，在詩集中我們不難看到雨果本人那高大的形象，感受到他的憤怒和決心。
《懲罰集》在比利時出版了兩個版本，一種是全本，另一種是刪節本。公開賣刪節本，實際送全本，這樣便逃避了比利時的法網。《懲罰集》也被偷運到了法國，再次引起了轟動。
1853年至1856年間，雨果的激情與日俱增，他不但寫出《沉思集》中的宗教詩篇，還完成了兩部神學長詩《撒旦的末日》與《上帝》的大部分。