巴頓的祖先原為蘇格蘭人，是蘇格蘭東部亞巴登的地主。是否有貴族頭銜，現已無據可查。或許正是因為這個模糊不清的家世使得巴頓家族的成員在婚姻上普遍交好運。巴頓家族的第一個美國祖先名叫羅伯特·巴頓，他於18世紀獨自一人漂洋過海來到弗吉尼亞殖民地。據說，他個頭不高，強悍粗魯，但交友甚廣，風度翩翩，對姑娘們頗有吸引力。由於買不起來北美的船票，據說羅伯特·巴頓最初是作為契約工來到北美的。1771年，他在弗雷德裏克斯堡的一家農場打工，雖身無分文卻誌向遠大，氣質高雅，後因娶了富家小姐安妮·戈登·摩塞為妻而成為名流顯貴。所以有趣的是，值得巴頓引以自豪的不是他的第一位美國祖先本人，而是這位祖先的嶽父大人休·摩塞將軍。
摩塞在美國第一次革命的曆史上占有一席之地。他是一位來自蘇格蘭的移民，在大名鼎鼎的喬治·華盛頓的領導下參加了七年戰爭。獨立戰爭中任大陸軍準將，在特倫頓、普林斯頓等戰役中勇立戰功，深受華盛頓的器重。摩塞是在一次肉搏戰中在馬上中彈身亡的，他的事跡不僅在美國建國史上留下了痕跡，他也因此成為巴頓家族史中地位最高的一位先祖。他為家族確定的信條是：“勇敢戰鬥！千萬不能使祖上蒙羞！”
小巴頓的祖父喬治·史密斯·巴頓生於1831年。當他從同名父子，親密無間。1895年巴頓與父親合影。弗吉尼亞軍事學院畢業時，正值美國曆史上的多事之秋，南北雙方在黑人奴隸製度、西部土地以及國家的經濟政策等問題上的矛盾鬥爭日趨激烈，最終發展成為一場慘烈的內戰。受家族傳統的影響，喬治·史密斯·巴頓頑固地維護種植園奴隸製度，曾組織了一支騎兵部隊鎮壓奴隸起義，後參加了南部同盟軍，因戰功卓著而晉升為上校、騎兵團團長。1864年9月在第三次溫切斯特之戰中戰死。祖父使用過的馬鞍一直珍藏在巴頓家中。鞍上寫有這麼一句話：
巴頓上校在第三次溫切斯特之戰中殉職，因有忠誠之傳令兵，此鞍、戰馬及軍刀得以保存。
祖父的幾位兄弟也是弗吉尼亞軍事學院的畢業生，都參加了南部同盟軍，在戰場上作過戰。祖父的表兄弟們也大多在南部同盟軍供職。
祖先們在小喬治·巴頓心目中的地位是崇高、神聖的。在他看來，他們都是戰功卓著、叱吒風雲的勇士，是自己行動的楷模。童年時的小巴頓經常產生幻覺，仿佛感到祖先一直站在峰巔上，觀察他的一言一行，評判他的言談舉止，考測他的意誌能力。他不禁暗下決心，一定要克服心理障礙，以祖先們的標準檢驗自己的言行，不斷地督促自己奮發向上，力爭有資格繼承巴頓家族的傳統。他寫道：“我家族的祖先一直在催我奮進。如果我稍有遲疑，我就可能玷汙我的血統。”
巴頓的外公威爾遜死後，其財產多被大女婿詹姆斯·肖波繼承。肖波夫婦占有的財富最多時達200萬美元。但肖波經營無方且揮霍無度，過著醉生夢死的奢侈生活，搞得債台高築，最後被迫把產業交給巴頓的父親經營。此後，父親便陷入了冗雜的商業事務中，整日東奔西走，甚至經常不能回家。從此以後，巴頓和妹妹再也未能過上在外祖父牧場中度過的那種快樂生活。後來，巴頓對這位姨夫頗有微詞，認為父親之所以不能陪他玩耍，罪責在於肖波。
由於父親的工作越來越忙了，而且此時巴頓還差兩個月就滿12周歲，“閱讀失常症”已經有所減輕，於是父母決定送他到斯蒂芬·卡特·克拉克私立學校就讀。該學校位於帕薩迪納市郊區，校舍是一套紅色木結構的平房，有草坪環繞，不遠處還有一個不小的操場，周圍群山滴翠，綠樹成陰，環境十分優雅。這是一所貴族學校，教師都是用高薪聘請來的名師，來自南加利福尼亞富貴家庭的25名學生在此就讀。巴頓在這裏一讀就是6年，獲得了良好的基礎教育。
在學校期間，巴頓付出了比別的孩子更多的汗水和淚水，而這正是他向社會和人生邁出的第一步。作為一個不到12歲的少年，巴頓所麵臨的困難是巨大的：他不僅要克服未接受過正規教育而帶來的種種麻煩，而且還要忍受“閱讀症”給他帶來的巨大壓力。有些同學在課堂上模仿他不準確的發音，在黑板上模仿他不規整的拚寫。巴頓雖然感到憤怒，但並沒有因此而氣餒。父母及家人的拳拳愛心和大力支持成了他最重要的力量源泉，並促使他下定決心：一定要效法祖先，發揮自己所有的潛能，克服困難，取得成功！
巴頓最喜歡的功課是曆史。他認為曆史是由偉人們的個人品質和能力所決定的，他們以其愛國主義、自我犧牲精神和巨大的力量推動了曆史前進。在上學之前，父親就經常給他和妹妹講一些曆史偉人們的故事，就是從這些偉人的業績中，巴頓似乎聽到了曆史前進的沉重腳步。進入學校後，父親又挑選了一些世界名著作為他的課外讀物。蘇格蘭詩人瓦爾特·司各特爵士的作品最能震撼他的心靈，他的史詩描寫了蘇格蘭的生活、傳說、部族、格子呢、風笛、俠士等等，這些都增強了巴頓對自己家族蘇格蘭傳統的理解。荷馬史詩中給他講述了人類自由意誌與悲慘命運的劇烈衝突，引導年輕的巴頓去思索人類如何與命運抗爭，把握自己的未來。還有色諾芬的《遠征記》、麥考利的《古羅馬詩歌》、吉卜林的《史詩》、《舊約》等，所有這些都使他回味無窮，讚歎不已。