魏征的祖父叫魏彥，字惠卿，也很博學，善寫文章。年輕的時候，趙郡王和廣陵王都邀請他去當幕府的秘書長，他都謝絕了。497年，氐帥楊靈珍造反叛魏，河南尹李崇被孝文帝任命為都督隴右諸軍事，率兵數萬前往鎮壓。李崇邀請魏彥為鎮西參軍事。魏彥從前線回來之後，請求當著作郎，希望能夠撰寫一部《晉書》，以樹不朽之業。可是，魏彥不久又被彭城王邀請為秘書，兼知主客郎中，再次進入政界，他的從文之理想終究沒有實現。彭城王被殺後，他也退歸家鄉。北魏孝明帝初年，拜驃騎長史，不久又轉為光州刺史，68歲時去世。
魏征祖上幾輩人博通經史、學兼文武的顯赫才華，直言敢諫、不避艱險的凜然正氣，以及編撰國史、樹立不朽功業的宏圖大願，等等，自然對他產生了潛移默化的影響。整個家族的風氣，特別是直係親屬的操守、誌向、言行，對他的教誨，也是促其成才並形成其氣質、品格和良好品德的不可忽視的客觀因素。
在魏征家族中，還有許多成員是才華橫溢或操守正直的名人賢士。例如：魏征的族兄魏收，更是碩學大才，當時與族叔魏季景、河間邢子才、邢子明並稱“兩邢二魏”。北魏時任散騎常侍，編修國史；北齊時任中書令兼著作郎，後遷尚書右仆射，監修國史，編撰了《魏書》，是有名的政治家和史學家。
魏征的族兄、季景之子魏澹“專精好學，博涉經史，善屬文”，隋文帝時任行台禮部侍郎，太子舍人，又遷著作郎。文帝因魏收所撰《魏書》褒貶失實，平繪寫的《中興書》事不倫序，詔魏澹另撰。魏澹撰述《魏書》92卷，義例與魏收所撰的《魏書》有許多不同之處。他寫的書，校正了魏收和平繪的失誤，受到隋文帝的稱讚。
魏征的族叔魏蘭根，“儀貌奇偉，博學高才，機警有識悟”。他母親死後，他要伐掉原來董卓祠中的柏樹做棺槨，手下人怕董卓有靈不敢伐樹。但魏蘭根認為董卓是凶逆，不應當保留其祠，因此一點畏懼也沒有。在當時封建迷信盛行的氛圍中，此舉確是罕見的，也是十分可貴的。孝昌年間，他做岐州刺史的時候，跟隨行台蕭寶夤征討宛、川，獲得勝利。寶夤俘獲當地居民為奴婢，並賞給蘭根10個美人。蘭根說：“這個縣臨近強虜，所以背叛，現在應撫恤其饑寒，為什麼反倒充為仆隸呢？”於是，把美人全部歸還其父兄。朝廷以蘭根大得西土人心，讓他都督涇、岐、東秦、南岐四州軍事，兼四州行台尚書，後來官拜中書令、尚書右仆射。
在魏氏家族的成員中，或以文章著稱，或撰成國史，或治軍從政有方，或節儉而愛民，或義正不懼邪惡。這一切，對魏征的心理素質、文史修養、政治節操、從政特色等，無不有著深刻的影響。