露沙住在奶姆家裏，整整地過了大半年。她忘了她的父母，以為奶媽便是她的親娘，銀姊和小黑是她的親姊姊。朝霞幻成的畫景，成了她靈魂的安慰者。斜陽裏唱歌的牧童，是她的良友，她這時精神身體都十分煥發。
6歲的時候，廬隱又被帶到父母身邊，可此時的她根本無法融入這個家庭了，她覺得自己是異類，總是一個人沉默著，不跟父母哥哥說話，而且相當倔強，無論是威脅利誘都不為所動。
如果能夠學會討好、依順，她幼年至少年的生命也不至於如此的辛涼，可她“執拗的脾氣……無論別人怎樣冷嘲熱罵，還是我行我素……”
當時父親調任湖南長沙，一家人乘船前往。在到長沙的途中，廬隱並不知道此行是隨父親去享榮華富貴，也許是覺得離奶媽更遠了，也許是害怕，她在船上不吃不喝，終日對著河水哭鬧，誰勸都無用，後來惹得父親心頭起火，提起她便向水中拋去，幸虧旁邊一個聽差眼疾手快，立刻跳下船將她救了起來。
人家的大小姐都是捧在手心含在口裏，唯有廬隱是個丫鬟的命，上天對她的折磨幾乎無休止：父親在長沙履職不到半年，突發心髒病而去世，廬隱一家孤兒寡母頓時失去了生活來源，陷入愁雲中。
在農工商部任員外郎兼太醫院禦醫的舅舅得知這一情況後，發電報讓姐姐帶著孩子去他家居住。舅舅學識淵博醫術精湛，深得朝廷器重，因此家大業大，親戚們都在大樹下乘涼，住在舅舅家的孩子們就有二十來個——要麼是廬隱的表兄弟姐妹，要麼是舅母的侄子侄女。
母親將湖南的家當變賣了，加上父親曆年的積蓄合計兩萬塊現款，略微收拾了下行李，便帶著四個孩子北上京城。
在舅舅家，性情孤僻的廬隱幾乎不討所有人喜歡。適時廬隱已到了要上學的年紀，很沒耐心的姨媽擔任了她的啟蒙老師。姨媽的教育方式非常簡單，既然這小侄女倔強，那就讓她倔到底。每天上午，姨媽教一課仨字經》，就讓廬隱自己背誦，接著將房門反鎖，直到中午來檢查。如果廬隱背不出來，立馬竹板伺候，有時還不給飯吃。母親堅決站在姨媽這邊，根本不心疼女兒—一她總認為女兒是“災星”，出生就克外祖母、6歲又克父親，而且沉默寡育，眼裏總是充滿著哀怨，跟誰有仇似的。
自幼得不到絲毫母愛，廬隱對讀書也沒有一點興趣，每每從門縫向外望，《廬隱自傳》中提到這段往事：
有時聽見哥哥們在院子裏唱歌，或捉速藏，我的心更慌了，連忙把書丟在一邊，一竄兩跳的爬上桌子，用口水把窗紙舔濕了，戳成一個洞，一隻眼睛貼著洞口向外看，他們笑，我也跟著笑，他們著急，我也跟著心跳，一上午的光陰，就這樣消磨盡了。等到十一點多時，我聽見門外姨母的腳步聲，這顆幼稚的心，便立刻沉到恐懼和愁苦的旋渦裏去……
可是即便經常挨打，廬隱依然任性，“我也不管那些，每天仍然任著性要念書就念，不念一就是挨了打還是不念……
·上帝在哪？我看不見！·
在寄人籬下的生活中，幾個哥哥均能察言觀色，以博得長輩們的同情，而廬隱寧願跟婢女住在一起，也不對誰獻媚討好。母親無可奈何，索性由得她。
每逢舅舅家有喜事或者宴請賓客的時候，母親生怕廬隱給自己丟臉，特意吩咐下人將她鎖在另一個院子裏。每每看見其他孩子都穿著新衣服在人群中如蝴蝶般穿來穿去，廬隱便情緒低迷，甚至模模糊糊地覺得：“假使死了，也許比活著快活……”
廬隱在家讀書的成績極壞，而她的執拗與不馴服讓母親和家人忍無可忍。在她9歲的時候，舅母和姨媽打聽到北京的一所教會學校收住校生，其中一個非常誘人的條件是“隻要進校的孩子信教，就可以免除學費，交少許的大洋則可以全年在學校吃、住、讀”。
母親根本沒啥主見，也沒顧忌女兒的感受，就答應了舅母對廬隱的處理方式，接著舅母對教會隱瞞了廬隱的年齡，將九歲半的廬隱送進了封閉、禁鋼的教會學校——慕貞學院。
校長是個美國女人，在廬隱人校時對廬隱的姨媽說：“信宗教，守規則……每年隻暑假回家，平常是不許出學校的……還有她將來的婚姻問題，也由我們替她主張。”
對於尚是孩子的廬隱來說，家人將她送人此校，無疑是將她徹底遺棄了。生活環境的陌生、壓抑，無疑成為對廬隱心靈構成傷害的最重要的因素，後來，她回憶說：“這是一所專門收容無產階級者的學校；到處都顯露著貧瘠的陰暗空氣，據說這些學生都是從各鄉村貧寒的教友家裏送來的，不但在這裏可以不花錢讀書吃飯住房子，同時便連暑假回家的往路費都是學校供給的——而學校當局唯一目的，就是使這一群天真的孩子信教。他們是抱著宣傳宗教的絕大信心，來吸收這些為了利益而信教的教徒，……養成一群奴隸性的教徒，這些人畢業了，便分發到各鄉村各教堂，再依樣炮製，於是洋奴便一天多似一天了……”
教會學校對學生們的生活也有著兩套標準，窮人家的孩子每天吃糙米飯、窩窩頭和鹹菜，十幾個人擠一間宿舍；有錢人的子女則進小廚房，雞鴨魚肉換著吃，四五個人住標準間。