1823年2月，約翰接到調令，讓他去薩默特大樓任職。這個被酒精燒得神經已經有些麻木的人隻長長地出了一口氣：“啊！這一下可把債主甩掉了。”
因為約翰是一個極願盛情款待朋友的人，但由於他熱衷於維持紳士的體麵，妻子又不善理家，終於陷入了債務的泥潭。他每年二三百磅的薪水常常在領到之前，就已簽字償還給別人了。
由於生活拮據，一家人被迫遷居倫敦。查爾斯在年初的時候仍然留在了查塔姆，因為他這一個學期還沒有結束，但到學期一結束他也不得不到倫敦去了。
這次他們住進了卡姆登鎮赫姆街16號。
安置好之後，查爾斯百無聊賴地走上卡姆登鎮的街頭，漫無目的地邊走邊看：破舊簡陋的房屋，街上稀稀落落的人群，穿著破舊的衣服低著頭匆匆而過，他們都在因貧窮而奔忙。
當然，大街的盡頭有“紅帽子媽媽茶園”，附近不遠還有鄉間小道及喬克農場的幾個茶園，他隻要走出家門就能看到綠樹成蔭的漢普斯特德山。但更多的是與這鄉間美景格格不入的情景。
查爾斯憂鬱的心情更增添了傷感：“這裏與查塔姆是多麼的不同啊，簡直就像是生活在兩個世界。”
查塔姆，他那神聖的故土，那裏到處都能看到海軍軍官，隨時都能感覺到莊嚴的氛圍。而到了這裏，是社會地位一落千丈的象征。
環境的變化，並不是讓查爾斯感到心寒的唯一原因。
家裏現在唯一的仆人，是從查塔姆濟貧院雇的一個無父無母的小姑娘，當時他們家也隻能雇得起這樣的人。
而一時無學可上的查爾斯，就責無旁貸地擔起了家裏的大部分體力重活。
雖然查爾斯當時隻有11歲，但他不得不放棄交朋友的機會，放棄讀書的機會，把時間都用在照看弟弟妹妹、做家務和跑腿上，甚至還要替全家人擦皮鞋。
他整天低著頭忙，根本無人理睬他，他感到極端孤獨。他找不到年齡相仿的能說得上話的朋友，他不再有當初在學校學習時領受到的獲得進步和知識時的喜悅心情。
這天，一直死氣沉沉的家裏泛起了一陣快樂的波瀾。原來，查爾斯的姐姐範妮考上了皇家音樂學院。
一家人為範妮舉行送行晚宴，大家七嘴八舌地對範妮表示祝賀：
“範妮，你考上皇家音樂學院，為咱們全家都爭了光，祝賀你！”
“範妮，千萬不能驕傲，要在學院取得更好成績才行啊！”
“範妮，別光顧學習，一人在外要照顧好自己。”
“範妮，這個機會來之不易，你要好好珍惜啊！”
“加油範妮！好樣的！”
查爾斯沒有加入這場“念喜歌大賽”，他站在場外，心情落寞地看著即將離家遠行求學的姐姐。想到自己無人關心的處境，看著她在一家人的祝願聲中就要離去，心像被狠狠地捅了一下。
範妮從麵露喜色的家人的肩膀縫隙裏，感覺到了弟弟投射過來的孤獨傷感的目光。
她走到弟弟跟前，語重心長地叮囑他：“查爾斯，現在你的肩上扛著我們家的重擔，千萬要保重自己呀，我走了你就是大哥哥，一定要幫媽媽照顧好弟弟妹妹們！”
查爾斯的雙手與姐姐緊緊地握在一起，他不敢與姐姐對視，因為隨著家境越來越貧困，他挑著這副重擔也感覺越來越吃力，尤其是不能像姐姐一樣去更高級的學府求學，他的心裏如同刀絞一般難受。