到了房中，紅菱呈上茶水，那賈寶玉見紅菱生的嬌俏可人，不免又看的癡了，心想：“我隻道府中的女子是萬裏挑一的，沒想到林家的更好。”紅菱放下茶，很快便退下，瞧也沒瞧賈寶玉一眼。賈寶玉沒能多看一會兒，頗覺可惜。林長生冷哼一聲：“怎麼，又看呆了？”賈寶玉笑道：“愛美之心人皆有之。看到美好的東西，心中愉快，不免多看幾眼。”林長生冷哼一聲道：“巧言令色，不過一好色之徒，寶二爺今日沒去上學？”賈寶玉道：“因學裏不太平，老祖宗憐惜，請了先生在家教習。現在，還沒開課。”林長生又道：“真是嬌貴啊，都讀些什麼書？”賈寶玉道：“在讀《詩經》。”林長生道：“怨不得你見了女子走不動路，《關雎》看多了吧。”賈寶玉心中不喜歡林長生，此時又話不投機，不想與他多說話。林長生的言語中又一再諷刺自己，泥人還有三分火氣呢，賈寶玉的語氣也不客氣起來：“你是什麼身份，不過林家的下人，竟養的你們充起主子來了，你這樣的刁奴真該發賣了，也不知你怎樣哄騙林姑父，才讓林姑父這樣看重你。”林長生被賈寶玉如此說反而笑起來，若是熟悉他的人，便知道賈寶玉要倒黴了，賈寶玉卻絲毫不知。林長生說道：“小子，你真是活的不耐煩了，我林長生長這麼大，還沒人敢跟我用這種語氣說話，你也不出去打聽打聽，林大爺我的名號。你若真是活的不耐煩，林大爺不介意送你上西天。”此時，林長生麵如沉水，殺其淩然，如九天魔神降世，這才是林長生的本性，賈寶玉隻覺得空氣都降溫了。林長生在賈寶玉眼中依然成了惡鬼的化身，賈寶玉被唬的不輕，大叫著跑出去了。
賈寶玉回去後一直昏昏沉沉的，史老夫人一麵讓人趕緊去請太醫，一麵質問李嬤嬤：“這是怎麼回事？好好的寶玉都教你們帶累壞了。”李嬤嬤慌忙跪下道：“哥兒早上還好好的，就是去見了林姑爺才成了這個樣子的，誰知道林姑爺說了什麼。”賈寶玉是史老夫人的心頭肉，他如今這副模樣，李嬤嬤害怕自己被罰，就把過錯都推給林源。
因林源對史老夫人態度冷淡，史老夫人本就不喜，如今更是雪上加霜，她讓人傳話給林源道：“寶玉如何還有他老子娘，你隻需管好你林家的，寶玉的教養不牢上心，快過來看看寶玉，若寶玉不好了，老婆子讓你們個個都好不了。”林源聽了這話，瞥一眼身邊的林長生，林長生對那傳話的人道：“你也帶兩句話回去，賈寶玉如何，都是自找的，想讓老爺守著他一個晚輩，也不怕折壽。”賈母聽了這番言語，氣的不行，哭道：“我好好的姑娘嫁到林家，生兒育女，就這麼沒了，讓我這白發人送黑發人，如今他們來了，我們好生招待，還不知足，我可憐的女兒啊，是母親沒能給你找個好歸宿啊。他禍害了你，又來禍害我的寶玉啊。”一時，賈府的人都聚集到史老夫人住處，鬧騰的府裏不得安生，惹得一幹人好生相勸，直到太醫來了，史老夫人才止住了。賈府眾人因此對林家人沒了好感，這樣的府邸。林家也對賈府不滿，林源也住不慣，他寧可住客棧也不願在這裏受氣，就讓人收拾東西，準備離開賈府。
賈政勸好了母親，聽說林源要走，又趕來勸說林源。林源是決意要走的，他不說話，隻是看著下人收拾東西，林長生在旁邊道：“侯門公府，我們小小的庶民住不起。二老爺還是讓我們去吧，大家心裏都幹淨。”賈政道：“這是說的哪裏話，都是一家子，何必置氣，妹夫，你向母親陪個不是，這事就算過去了。你們這麼一大家子，出去了住在哪裏？現成的地方不住，反而住在外麵，沒得叫人笑話。”林長生道：“光腳的不怕穿鞋的，我們不怕別人笑話。”賈政此時也來了氣，嗬斥道：“你給我住口，我隻跟你們老爺說話。”林源道：“林府在京城有房子。”賈政道：“妹夫，何苦如此？你家那老宅這麼多年都沒人住，還能住人嗎？”林長生道：“我們剛來一天，就鬧成這樣，以後還怎麼住，還是走了幹淨。”林源看樣子是站在林長生這邊，賈政見他們去意已決，不再勸阻，長歎一聲，甩袖而出。
那邊史老夫人聽說林源要走，火氣又上來了，嚷道：“走，讓他們走，都走了幹淨，以後別再來了。”於是，林源在榮國府隻住了一天就搬出來了。這件事很快便傳開了，人們茶餘飯後又多了點談資。