其他的弟妹們，沒有什麼消息。熱羅姆最長壽，拿破侖三世時，他還健在。拿破侖很少接到親人的來信。卡羅利娜曾經向母親要錢，萊蒂齊婭拒絕道：“這些錢都是帝王的。”她在給呂西安的信中寫道：“當一個人失去高位後，如果還過著奢侈的生活，與人比富，隻能被人嘲笑。”至於奧斯坦與波利娜，仍然在演喜劇，和當年在馬爾梅鬆宮時一樣。
不久，拿破侖得知，貝爾納多特已成為瑞典國王。德西蕾呢？這個拿破侖最早的情人、未婚妻，最終成了王後，並且活到第二帝國。瓦萊夫斯卡伯爵夫人，丈夫死後，改嫁給一個法國貴族。拿破侖聽後表示讚成，想到自己為她和兒子所作的安排，放心地說：“她的生活應該可以，有一定的積蓄。”那個沒有心計的古爾戈答道：“皇上每月都給瓦萊夫斯卡夫人一萬法郎。”拿破侖漲紅了臉，問道：“你怎麼知道？”
國王繆拉和內伊元帥，最終被槍決。拿破侖生氣的是，繆拉竟然愚蠢到從卡拉布裏亞登陸。對於馬爾蒙，拿破侖也沒有過多的埋怨，隻是說：“我為馬爾蒙感到惋惜，以前，我真的很器重他。他不是個壞人。人都是怯弱的。”事實上，正是馬爾蒙破壞了每一個可能使拿破侖得救的行動！
此時的巴黎，對波旁王朝的統治怨聲載道。逃亡貴族和新貴族雖然無德無能，卻仍然身居高位。有個叫黎歇留的，一直逃亡在國外，對法國毫不了解，現在竟然鎮守要地。老將拉法葉特，已經成為無產階級的領袖，正醞釀著新的革命。有些省份想要懸掛出三色旗擁護拿破侖二世，馬爾蒙，這個拿破侖當年的戰友，粉碎了這一運動，後來他當上了大臣。
拿破侖讀到這些消息時，並沒有太多的反應。每天，都有人被判處死刑。在流放的第一年，拿破侖還曾對革命抱有希望：“為什麼我此時被囚禁，命運真是無情！是誰在那裏領導人們行動？誰來拯救絞架上的勇士？”為此，他不停地在屋裏徘徊，直到第二天。
有一次，拿破侖嚷道：“如果我是在美洲，除了莊園外，什麼也不會管。”其實，不過是說說而已，他是不會去美洲的。他自己就說：“如果我去美國，要同約瑟夫在一起，不用在這裏吃苦，也不用人擔心，可是，我的事業也就沒希望了。命中注定，我要死在這裏，除非，我能回巴黎。”
不久，為了看守拿破侖一個人，英國政府竟然要把部隊從二百人增加到三千人。聖赫勒拿島上的駐軍，每年花費要32萬英鎊，但這有什麼用呢？士兵們都站在拿破侖這邊。為了救拿破侖，有六名來自巴西裏約熱內盧的軍官被捕。他們打算用類似潛水艇的裝置把他帶出島去。另外，有兩個去印度的船長，想用船把拿破侖帶走。拿破侖仔細地聽了他們的建議，沒有同意。還有一次，拿破侖正與古爾戈工作時，蒙托隆闖進來說，有個人的護照隻剩下一小時期限，必須立即決定。拿破侖覺得不可行，也拒絕了。
為什麼他不接受別人的幫助逃走？因為法國此刻動蕩不安，所以，他決定留下來。他固執地認為，巴黎的人們會召他回去。不久，巴黎發生暴動，有人說，法國可能召他回去，拿破侖也覺得有希望，卻又說道：“為什麼要我回去呢？難道還會讓我指揮軍隊？可是，我已經老了……為了兒子，我決定留在這裏。我要用自己的性命，為兒子爭回王冠。”
雖然拿破侖並不懼怕死亡，但是，有時候仍然會情緒消沉。一點小事不順心，都令他難以接受。有一次，貝特朗因為生氣，沒有來這裏吃飯，為此，拿破侖一連幾天心情鬱悶。他說：“我知道自己已經無足輕重，沒想到，最親近的夥伴也不肯來看我，這太令我失望了……”拉斯卡斯想勸解，被他阻止了：“你什麼也不要說。讓我把話說完，好了，一切都過去了，算了吧。就當沒發生這件事。”在這樣的情緒下，任何人也休想見到他，他會說：“我已經死了，誰也不見。”然後，把自己關在屋裏，一聲不吭。
這天，蒙托隆和古爾戈，因為裝修房間的事吵起來。拿破侖為他們調解，伯爵夫人氣得直哭。拿破侖提議下棋，之後，大家共進晚餐，飯後，朗誦《以斯帖記》《以斯帖記》：《聖經·舊約》的一卷，敘述猶太美女以斯帖嫁給波斯國王薛居斯一世為王後，勸說服國王收回成命，取消了殺死全部猶太人的命令。。
有時候，會發生一些可笑的事情。比如，跑掉了一頭奶牛，拿破侖為此十分生氣，古爾戈吃飯時，臉色陰沉，因為他要為丟牛事件負責。飯後，拿破侖說他喜歡伊斯蘭教義，隨後又談到基督教。離開客廳時，拿破侖仍然不高興，卻竭力掩飾著，小聲嘟噥著：“莫斯科！五十萬人！”也許，人們前一天還看到拿破侖滿麵笑容，第二天卻發現他情緒低落。他會擔心：“我兒子會受到什麼樣的教育？他們是不是要教他恨我？真可惡！”
拉斯卡斯寫好了滑鐵盧戰役這一章，歎息著勝利被敵人奪走時，拿破侖沒有答話，卻對拉斯卡斯的兒子說：“孩子，把《在奧立斯的伊斐妮亞》給我拿來。”或者，他會讓人念拉辛的《昂朵馬格》。
拿破侖的活動越來越少，隨之而來的是無聊與日俱增，他的心情越來越糟。開始時，他還威武地乘車出遊，兩旁有侍從騎馬相隨，對他畢恭畢敬。他在花園散步時，沒有得到允許，誰也不敢上前。如果有客人來訪，必須由副官通報才行。