再有，魏晉南北朝時期封建大土地所有者也並非都是世家大族，也有很多庶族地主，如第員猿例沈慶之、第員緣例朱異、第圓園例顏師伯等。未見於史載的占有較大田產的庶族地主應該更多。
至於在“園”、“墅”、“別業”上的居住關係也並非“聚族而居”，這一點在第二章中已有詳論。魏晉南北朝時期的“聚族而居”很罕見，一般都是家族、宗族聚居與異姓雜居同時並存。徐揚傑所舉證的李顯甫開李魚川的事例正文中已有說明，充其量隻是李顯甫與其兄弟李華、李憑和堂兄弟李遵等數家同遷李魚川而已。從上述所舉的圓園例中，僅有猿例提到家族親屬，其中第願例，有可能屬於家族聚居的情況；但第員園例謝安於土山營墅“攜中外子侄往來遊集”，第員猿例沈慶之“悉移親戚中表於婁湖”，嚴格地說，“中外子侄”“親戚中表”所稱較為籠統，不能確定為家族聚居。即使是“家族聚居”也隻是家族中一部分近親聚居，而不是整個家族（同高祖以下，三從兄弟以內）聚居。其他員苑例“園”、“墅”、“別業”中更未見家族或宗族聚居的記載，談不上是“以莊園為範圍的聚族而居”。
這些大土地上的生產者，主要是佃客、部曲和奴隸。如第員例“家僮八九百人”、第圓例“課役童隸”、第猿例“輿馬仆隸”、第緣例“蒼頭八百餘人”、第遠例“僮牧”、第苑例“奴婢數千人”、第員園例“奴僮猶有數百人”、第員員例“奴僮既眾”、第員猿例“奴僮千計”、第員遠例“僮屬數百人”、第員苑例“部曲數百人”、第員願例“奴婢千數”、“臣吏僮隸”等。“部曲”、“奴僮”等在東漢時期即已出現。至西晉統一，在占田令中對品官蔭客作了明確規定。
東晉時又規定，“客皆注家籍”。這樣，佃客與封建大土地所有者的依附關係大大加強，這些“注家籍”的佃客、部曲等成為封建大土地的主要勞動者。以此徐揚傑認為：“莊園主脅迫小農為莊客，主要是就近脅迫那些失去土地的同姓小農為莊客。
這些族眾、莊客雖然還是以自己的小家庭為單位經營從莊園主那裏領耕的一小塊土地，但都已脫離了國家的戶籍，而上於族長的戶籍，變成了莊園主（即族長）私有人口，所以稱私附、徒附、蔭戶。既然莊客（即族眾）將自己的戶口附注在莊園主的戶籍中，那麼一個莊園有多少莊客及其家屬，族長一戶就有多少人口，所以這時就出現了許多‘百室合戶’‘千丁共籍’的大戶。這些大戶，實際上就是一個莊園，一個家族。”但上述圓園例，並無一例指明“莊客”即“族眾”。小農的土地為地主兼並後向地主依附，成為失去人身自由的地主依附農民。不過這些小農失去的土地並不一定都為本族地主所兼並，這些小農也不一定都依附於本族地主。更多的情況是鄉裏小姓和同宗大姓中的破產農民向鄉裏大姓地主依附。這樣，依附者既有同姓小農，也有異姓佃客。但這並不等於說，擁有大地產的大戶就是一個“家族”，這些依附農民就是“族眾”。再說，如果說“一個家族就是一個莊園”，那就意味著一個家族中隻能有一家擁有大地產，其他人都是莊客、佃戶，這也顯然不符魏晉南北朝時期的土地占有情況，與徐揚傑“世家大族式家族”的提法更是格格不入。
還有學者將東漢崔寔《四民月令》中記載的生產生活狀況說成是地主莊園的基本狀況，這也與客觀實際不符。《四民月令》所載：“九月，存問九族孤寡老病不能自存者，分厚徹重，以救其寒”；“十月同宗有貧窶久喪不堪葬者，則糾合宗人共舉之”；“十二月，請召宗族、婚姻、賓旅，講好和禮，以篤恩紀”等，也隻言宗族間的存問救恤等聚族活動，並未言這是地主莊園的生活情況。而有能力進行這些宗族救助活動的多是豪強大族，但這些豪強大族並不一定就是所謂的“莊園主”，更無根據說他們是“族長”。
總之，所謂的“地主莊園”隻是一般的封建大地產，不可能成為“世家大族式家族”組織形態結構的重要特點。“莊園與家族二位一體”的看法並無事實根據。筆者以為，封建大地產確實能夠為宗族一些人進行聚族活動提供經濟基礎，自給自足的自然經濟也利於宗族組織的形成，但這些並不是宗族組織存在的決定因素。在兩漢魏晉南北朝時期，無論世家大族還是庶族地主都隻見個別人的聚族活動，如提攜族人、賑贍族中貧乏等。整個宗族的有組織的聚族活動，除修譜外尚不多見，其原因或即在於還未形成宗族共有的族產。