卑南族第一個大變化來自日本的占據台灣。1895年日本占據台灣後，逐漸置台灣土著各族於日警統治之下。呂家社像其他土著社區一樣，其土地與獵場均被日本殖民政府沒收，後者隻將部分土地重新分配給社民，其社區領袖之權力則為警察取代。1905年左右，第一所小學及派出所同時在呂家設立，派出所主管與小學校長迅速取代了原來會所領袖與司祭的地位。1931年原來的六個會所合並為一個，祖家於是失卻其社會經濟與教育功能，隻維持為一個祭嗣單位。
1945年台灣光複之後，台灣漢族人口大量移入，謀取了卑南族人不少土地。1954年，大批“榮民”（即因病殘或到了年紀而退伍的士兵）被安置在台灣東部，成立了若幹“榮家”。其中一個“太平榮家”便設在呂家社附近大巴六九社所在地。有些“榮民”與卑南族離婚或寡居的婦女結婚，婚後多為從妻居。1970年筆者再訪呂家社，發現這種婚姻數目增加不少。1984年筆者三訪呂家時，這種家庭在呂家已構成其人口的主要部分。所以近四十多年來對呂家社影響最大的族群首為台灣平地漢人，次為大陸來台榮民。
第三個對卑南文化有重要影響的群體是教會。長老會與天主教會分別在1951與1956年在呂家社建立教堂。在1960年筆者訪問153戶中有46戶或196人信天主教，21戶或92人信長老教會。但天主教的影響遠大於此數字所顯示。首先由於天主教堂是拆除最後一座即合並後的中央男子會所而建，所以被認為是破壞卑南傳統的首惡。其次，天主教會在20世紀50及60年代以麵粉、脫脂奶粉、舊衣服等從美國運來的救濟品來吸引人信教。一旦加入教會後，神父即登門把所有有關傳統宗教的對象取走。如有祖家，一並拆除。所以1960年筆者在呂家調查時，最常聽到的一句話便是：“現在一切都變了，都是天主教的了。”
由於這許多外來的影響與壓力，到了1960年筆者從事調查時，呂家卑南族對祖家的祭祀幾乎到了全麵停頓狀態。每年在其中舉行的兩項收獲祭Murawak與Mangayangayao都在兩年以前即1958年便停止了。這時呂家社很難找到一所保存完好的祖家。然而十年之後即1970及1971年筆者再訪呂家的時候卻又是一種完全不同的景象。天主教堂關閉了，長老教堂雖仍開著，去的人卻不多。在筆者訪問的131戶中隻有4戶仍信天主教，15戶仍信長老教會。村中新蓋了不少祖家，而且全社已決議準備於1971年冬恢複Mangayangayao。
兩個教會的衰落據說都是從20世紀60年代的初期即開始。衰落的原因，教友及村民們都認為是因為由於救濟品（包括舊衣服、麵粉、奶粉等）的停發，失卻了物質的引誘很多人便停止去教堂了。甚至兩個教堂的負責人，也都坦白承認這是主要原因。然而筆者對一些受過洗而後來中止去教堂的人的訪問顯示，呂家社人舍棄這兩種西方宗教的原因，並不如上麵所敘的那樣簡單（見喬1972；16-17）。
在這些受過天主教或長老教會的洗禮後來都中止去教堂的居民中，有很多訴說他們在受洗後，不久便患重病，請醫服藥無效，隻好去找tamaramao（薩滿）或murarta（竹占師），經判斷是因為背棄了karumaban，祖先在發怒，遭到muteha（神罰），所以生病。於是他們恢複了祭祀Karumahan，停止去教堂，病便好了。這種現象在長老教會中比較少，在天主教中卻非常普遍（見喬1972：16-17）。筆者在早年的一篇論文中曾舉了好幾個例子，說明這種情形（喬1972：17-19）。