正在此時，隆隆的馬蹄聲傳來，原來是外公見巴頓等人久久不歸，成群結隊出來找他們了。野狗被不速之客嚇住了，迅速集成一團，向來時的方向奔去。
突然，幸運從巴頓的懷中掙脫出去，去追趕它的同伴。巴頓幾近瘋狂地吹響口哨，盼它能回心轉意。但幸運沒有回頭，修長的身軀如電光遠去。很快，它趕上了領頭的狗，肩並肩跑向茫茫草場深處。
外公走過來，安慰巴頓：“走了，我說過該去的終歸會去的。”
巴頓雖然難過，但也深深地祝福它，畢竟它找到了屬於自己的天地。
時光如白駒過隙，巴頓到了上學的年齡，他和尼塔得回洛杉磯了。當外公告知他們這個消息時，他們傷心地哭了。這塊牧場給了他們太多的回憶，他們實在舍不得離開這裏，離開慈愛的外公，離開朝夕相處的夥伴們。兄妹淚人一般踏上了歸家的路。
回到位於市區的別墅後，巴頓一直悶悶不樂。這裏雖然環境優美，有森林、草地、湖沼，但在他看來，都不能與外公的牧場相提並論。
為了使巴頓兄妹能盡快適應新的生活環境，父親總是盡可能在繁忙公務中擠出時間，陪兒子和尼塔玩耍，帶他們去釣魚、劃船、騎馬、練習射擊。裝扮成軍人衝衝打打是孩子們最喜歡的遊戲。
巴頓後來回憶說：“尼塔扮成少校，我則當一個列兵。我還以為列兵比少校官大呢！”
父親每天早晨向他們敬禮，然後帶他們去後麵的樹林裏進行軍事遊戲。巴頓是當然的指揮官。父親則成了他的貼身參謀，在虛擬的戰鬥中為他講解如何行軍布陣；在戰鬥的關鍵時刻要如何保持己方隊形；也教給他如何構築堡壘。父親在弗吉尼亞軍事學院學習到的軍事知識確立了他在兒子心目中的地位。對於巴頓的提問，父親總是有問必答。很快巴頓在軍事作戰方麵得到的知識遠較同齡人多出許多。
父親還為巴頓削了一把木劍，他整日別在腰上，威風十足，感覺較幾年前在外公的牧場上手持馬鞭又威風許多。總之，少年時期的軍事熏陶使巴頓對軍事產生了濃厚的興趣，為他日後步入軍校打下了堅實的基礎。
晚上，巴頓與妹妹坐在父親身邊，有時幹脆一邊一個坐在父親的大腿上，聽父親為他們講祖先們的故事。即使有些故事已經講了不止一遍，巴頓聽起來仍是津津有味、聚精會神，不自覺地進入情節，仿佛自己親身經曆一樣。
巴頓十分崇拜祖先，為自己那頗有名氣的家族而感到驕傲。因此在他幼年時就形成了一種優越感，堅信其祖先是弗吉尼亞的紳士，出身高貴，具有貴族的理想和抱負，是天生的領導人，負有領導他人的義務與責任。他相信自己就是祖先能力、意誌、信心和理想的繼承人，領導他人是自己義不容辭的責任，自己理應成為一個偉大的統帥和將軍。對於巴頓來說，家族的力量是神聖的、偉大的和壓倒一切的。它經常激勵巴頓奮發向上，建功立業。“為家族爭光”成為巴頓事業上的動力和支柱。
而這一切的形成，應該說父親起了很大的催化作用。他知道父親每天事務繁忙，不喜歡戶外生活，隻是因為自己的緣故才不厭其煩地陪他們兄妹玩耍。因此他更加敬愛父親。向父母道晚安時，他總是調皮地使勁吻一吻爸爸，而對媽媽卻不敢這麼放肆，母親對他和尼塔總是很嚴厲。
父母在巴頓身上傾注了極大的愛心。在巴頓很小的時候，他們就發現巴頓雖聰明伶俐，但在發音和拚寫上卻有缺陷，經常出現發音不準和拚寫錯誤的現象。現代醫生認為這種現象為“閱讀失常症”。對此，小巴頓感到很苦惱，沉默寡言，很少說話，唯恐遭到人們的嘲笑。
巴頓父母深知這是一種慢性病，隻能慢慢地調治，不能操之過急。他們總是盡可能擠出時間在家中陪著巴頓，以綿綿的長輩之愛溫暖他，啟發他幫助他克服心理障礙。
巴頓到了入學的年齡，父母擔心同學們會嘲笑他，因此決定不送他上學，專門請家庭教師教他文化課，並請教練來指導他鍛煉身體，以便排除外界幹擾，使他能夠集中精力學習。晚飯後，父親還要將巴頓兄妹倆喚到身邊，為他們抑揚頓挫地朗讀，以此來有意識培養巴頓兄妹的閱讀和表達能力。事實證明，巴頓父母的做法有助於他克服心理障礙，而且效果十分明顯。
巴頓有一個明星夢。他家附近有家商店，每年夏季總要在它的櫥窗裏放上一個身著橄欖球隊服的人體模特。隨著年齡的增長，成為一名身著這種紫白相間運動服的球隊隊員成了當時巴頓生活中最崇高、最神往的目標。
父母不在時，巴頓經常偷偷溜出去到供兒童遊戲的沙土場上玩橄欖球，當然必須得把妹妹尼塔帶上，否則她會向母親告密。在場外，尼塔是巴頓唯一的拉拉隊，但巴頓的表現卻非常差勁，常常被壓在衝撞擠壓的人堆底層。玩棒球時，巴頓總是三擊不中而出局，或接不住飛來的好球而大丟顏麵。一次，巴頓正在第二壘，有一個球直衝他飛來，可他全然不知。所有的人都看著他，認為他會接住這個球，可他卻隻是幹站在那裏。球在他身後落地，所有的人都大叫道：“噢，真差勁！”
回家的路上，尼塔無精打采地跟在巴頓後麵，“哥哥，我對你快要失去信心了。”巴頓肺差點兒氣炸了。他發誓，總有一天也要成為球場上的明星，為自己挽回名譽。
巴頓10歲那年，外公威爾遜去世了。其財產多被大女婿詹姆斯·肖波繼承。肖波夫婦建造了維多利亞式別墅，購買專供自己旅遊的豪華專列，過著紙醉金迷的生活。由於其大肆揮霍，搞得債台高築，最後被迫把產業交給巴頓的父親經營。此後，父親更多地陷入商業事務中，整日東奔西走，很少有時間陪巴頓和妹妹玩鬧，甚至經常不在家。因此巴頓對姨父肖波頗有微詞。
巴頓12歲時，“閱讀失常症”已有所減輕。父母遂決定送他上學。