拿破侖沒來之前，這裏是五十年前建成的馬廄，此次臨時改成人住的房屋。那些黑奴和木匠，就在馬糞上鋪了地板。拿破侖搬進去沒幾天，地板就開始腐爛，臭氣彌漫，不得不住到另一間房子裏。他和隨從住進了牛棚。臥室陰暗、狹窄，褐色牆布上滿是白硝漬。做飯時，每個房間都能聞到油煙味，這倒與他三十年前在瓦侖斯時的情況有些類似。不過，那裏是幹燥的，而這裏，潮氣太重，以至於每本書都是濕的。仆人的住處更是簡陋，一下雨就會四處漏水。
拿破侖有兩間小屋，每間長十四尺，寬十二尺，高十尺。臥室裏的地毯，已經磨沒了毛。屋裏的陳設極其簡單：薄窗簾、火爐、油漆木椅、兩張小桌、一個洗臉盆架和一張沙發，如此而已。書房隻有一張桌子，兩把椅子。搖搖欲墜的架子上，滿是書籍，旁邊有張床。還好，拿破侖在臥室裏擺了些戰利品，有奧斯特裏茨用過的小行軍床，外加一盞銀燈。
房間裏最多的客人是鼠！它們吃小雞，甚至敢咬病馬的腿，連貝特朗將軍的手也咬過。誰和老鼠同住？三位伯爵和一位男爵，還有他們的家屬，另外有兩名仆人。剛來時有四十人，六年後，拿破侖去世時還剩下一半。
拉斯卡斯拉斯卡斯（1766.6.21—1842.5.15）：法國海軍軍官、伯爵。長期流亡英國，因編纂過《曆史地圖集》，引起拿破侖的注意。1815年，百日王朝期間投奔拿破侖，攜子隨拿破侖流放聖赫勒拿島。在18個月中，真實記錄了拿破侖的談話和口授作戰史。1823年，發表了《聖赫勒拿島回憶錄》，轟動整個西歐。和他的小兒子在這裏住了一年。他是個流亡貴族，比拿破侖大一些。百日王朝時，引起拿破侖的重視，並且成了他的親信，被封為伯爵。這是個辦事果斷的人，後來著有《聖赫勒拿島回憶錄》，得到幾千英鎊的收入。他的個子比拿破侖還矮，也和當年的波拿巴一樣瘦。他的修養很好，為人隨和，是拿破侖流放期間最喜歡的夥伴兼秘書。他給拿破侖講笑話，逗他開心，而且還教拿破侖說英語。但遺憾的是，最終，拉斯卡斯離開了這個島。此後，沒有人能夠像他一樣，帶給拿破侖快樂。
貝特朗貝特朗（1773—1844）：法國將軍，優秀的工程師，幾乎參加了拿破侖所有的戰役，授封為伯爵。迪羅克陣亡後，升任宮廷總監。1814年與1815年兩次隨拿破侖流放，直至安葬拿破侖後才離開聖赫勒拿島。1840年，貝特朗再次隨人前往聖赫勒拿島，將拿破侖遺體接回法國。著有《劄記》，記載了拿破侖去世前7年中的大部分談話。，對拿破侖的忠心無人能及。不過，他性情急躁易怒，不願意記錄拿破侖口授的話。貝特朗的夫人是克裏奧人，年輕貌美，不甘心長年生活在這個環境極差的小島上，她總是懷念巴黎的日子，常常感到委屈。一天，吃飯時，拿破侖看到她的座位空著，非常不高興，說這裏可不是旅店。貝特朗聽了很是內疚，第二天，躲了一天沒露麵，拿破侖為此也很難過。他說：“如果在這裏不尊重我，比在巴黎時更令人傷心。”
古爾戈古爾戈（1783—1852）：法國將軍、曆史學家。1814年布裏埃納戰役曾救過拿破侖。1815年隨拿破侖流放聖赫勒拿島，記錄了拿破侖口授之戰爭史，後發表兩卷本的《聖赫勒拿：男爵古爾戈將軍日記》。，在拿破侖的最後幾次戰爭裏，身為副官。他對拿破侖有著深厚的感情，追隨他來到聖赫勒拿島。可是，環境迫使他有些動搖：“我這麼做值得嗎？”來島上不久，古爾戈遇到了一位可愛的女士，為此心神不定，在日記中寫道：“為什麼我沒有自由？”對於拿破侖來說，這個年輕人很重要，因為他懂得戰術，而且精通地圖學和數學。隻是，環境的原因，使得拿破侖的情緒很差，脾氣暴躁而且易怒。來到島上的第一天，就產生了矛盾。因為，古爾戈年輕氣盛，不能容忍拿破侖對拉斯卡斯的器重。最後，拿破侖隻得用命令壓製住古爾戈：“你們隨我來，讓我很受感動。現在，我們已經親如兄弟，要知道，有很多眼睛看著我們呢。”
孤島讓拿破侖學會了寬容，也學會了體貼，古爾戈對此感受頗深。他常常像父親似的和古爾戈交談，並許諾為他找一個富有、漂亮的科西嘉姑娘。拿破侖會笑著對他說：“你是個男子漢，隻是有些不夠成熟。”
不久，古爾戈的十字架被拉斯卡斯的仆人偷走了，拿破侖知道後，為了避免矛盾，假說是自己拿錯了，親自還給了他。古爾戈發牢騷說錢不夠用，拿破侖勸他：“將軍！如果因為錢少而逃跑，那是懦夫的行為！”他告訴古爾戈，可以自由離開。不過，他會很快改變主意，對古爾戈說：“親愛的孩子，你看上去心情不太好。去衝個澡吧，那會讓你精神起來。別胡思亂想了，不然會生病的。我已經不再富有，但仍有些積蓄。我知道欠你很多，所以，我希望我的朋友們在這裏高興，如果你們板著臉，我會更加傷心。你知道我會有多難過？”大家聽了拿破侖的話，都感到很痛心，沉默，誰也不出聲。人們感到，這棟房子，就像將要噴發的火山。