到了日本，規矩發生了很多變化。日本直到19世紀中葉，都隻有貴族武士擁有姓氏。姓氏是中國宗族製度的根本，沒有姓氏也就談不上宗族。但日本隻有上層社會才有族譜這種東西。另外，日本人的傳統是對封建領主盡忠，這個領主是當地的大名，與中國上任幾年又要調走的官員大不相同。領主不是外人，宗族必須將領主置於最高位置。結果，中國以族譜和宗祠為聯係紐帶，而日本，最重要的是這個人屬於薩摩藩還是肥前藩。一個人與宗族的聯係紐帶就是他所屬的藩。
聯係宗族成員的另一條紐帶，就是在神社、聖地祭拜遠祖或是氏族神。這類活動，日本那些沒有姓氏和族譜的“庶民”也能參與。但日本的神社沒有祭祀遠祖的儀式。在“庶民”參與祭祀的神社裏，村民們集中在一起，無需證明彼此有什麼血緣關係。他們被稱作是該神的“孩子”。這樣稱呼是因為他們住在這位祭神的土地上。如同世界各地的村民一樣，這些祭拜者由於世代定居同一個地方，彼此當然有著親戚關係，但並不是出自一個共同祖先。
與神社不同，對祖先的崇拜是在家庭房間裏的“佛壇”上進行的，那裏隻設立六七個近親的靈牌。在日本所有社會階層中，人們每天都在這種佛壇前祭祀著至今懷念的父、母、祖父母以及一些近親，並供上食品，佛壇上供奉的是類似墓碑的靈牌。曾祖父、曾祖母的墓碑上的文字即使已經無法辨認，也不再重新刻寫，三代以前的墓地甚至會被迅速淡忘。日本的家族與家族之間聯係淡薄得接近西方，頗有點兒像法國傳統。
這樣一來，日本的孝道隻在家庭內部有效，最多包括父親、祖父、伯父及其後代。在這個團體中，每個成員都應當確定自己的輩分，依照性別、年齡保持著相應的地位。即使是成員眾多的豪門，也是由許多獨立的小家庭組成的，次子以下的男孩子必須另立門戶。因為家庭狹小，彼此直接接觸，要求“各安其位”的規定十分嚴密周到。一個家庭的長者在隱居不問家事以前，所有人對他都必須嚴格服從。哪怕到了現代社會，一個家裏有幾個成年的兒子，他們的父親都有可能無論大事小事都要請示老邁的祖父。有時候孩子都三四十歲了，他們的婚姻還是父母說了算。一家之長在吃飯的時候首先舉起筷子，洗澡的時候也首先入浴，全家人隻要碰到他都要鞠躬行禮，而他隻需要點點頭。日本有句歇後語：“兒子向父母提意見，和尚要求腦袋上長頭發。”意思就是：“可以想，不可以做。”
輩分和年齡上不同，就應該“各安其位”。日本人說到秩序混亂的時候，常說這簡直是“非兄非弟”，這跟我們說的非驢非馬基本一個意思。在日本人看來，長兄應該很自然地保持其長兄的特質。他們是繼承者。外國人在日本多呆一段時間，會感到“日本的長子從小就有一套好像身負重任的不凡氣質”。長子的特權有時候與父親相差無幾，尤其長大成人後，弟弟會成為依賴長子生活的人；現在在農村和鄉鎮，還有這種規則的遺跡。長子留在家中，繼承了祖先的產業，次子和三子也許已經走出廣闊天地，受到更多現代教育，取得更多收入，而古老的等級製度依然要遵守。