在這次美國之行中，巴頓的情緒大起大落，受到很大刺激。他深深感到，戰爭的硝煙已經散去，和平真的降臨了。這本是廣大人民夢寐以求的事情，但對於巴頓來說卻是一種不幸，他將脫離他所熟悉的戰場，置身於一些繁瑣的、毫無刺激的平凡工作之中。用他自己的話講，這是“脫離偉大，回歸凡俗”。不久，巴頓就被委任為駐巴伐利亞軍事行政長官。這對他來說是一個十分厭惡和不適當的職位，簡直是一個曆史的誤會。因為他所麵臨的問題錯綜複雜，他不僅要著手處理遺留下來的許多棘手問題，還要生平第一次與社會主義蘇聯打交道。
巴頓是一個軍人，不是政治家，他對政治既不喜歡也不精通。由於他的出身和受到的教育，他對共產主義、共產黨人和社會主義蘇聯抱有一種天生的敵意，而且時常流露在言談舉止之中，很難掩飾。在他眼中，共產主義是一種古怪、呆板的製度，斯大林是一個嗜血成性的暴君，而蘇聯紅軍則是一群頭腦僵化、紀律嚴酷的“烏合之眾”，蘇聯和東歐國家人民生活在不幸之中。他本身好戰的天性又使他認為，新的大戰是不可避免的。據此，他在1945年“五一”國際勞動節那天公開表示，與社會主義國家的矛盾將是第三次世界大戰的根源。
正是由於巴頓的政治觀點極其極端保守，加上他那不願妥協的性格，所以在以後的工作和社交場合出現了不少紕漏，甚至發生了嚴重的問題，給他的晚年帶來許多麻煩和困擾，並最終導致了他政治生命和軍事生涯的終結。
巴頓對“俄國問題”的認識十分淺薄，一直到1945年才開始真正接觸這個問題。由於他的思維方式過於偏執武斷，再加上他對蘇聯人缺乏了解，他與蘇聯人的關係始終處在一種一觸即發的危機狀態。起初，他盡量避免與蘇聯代表會麵，而讓別人代辦。對於不得不會見的蘇聯人，他則表現出一種高傲而近乎無理的姿態。因為在他看來，所有的蘇聯人都是頭腦僵化、愚笨無知的鄉巴佬。
巴頓第一次與蘇聯人正式見麵是在柏林的一次閱兵式上。由於巴頓早已名聲在外，蘇聯同行都對他十分尊重和熱情。但巴頓對此不屑一顧，他搭拉著眼皮，旁若無人地站在那裏，一言不發。盡管如此，一位蘇聯將軍還是很熱情地邀請他飲酒。
但巴頓竟被惹惱了，他不僅斷然拒絕與蘇聯將軍飲酒，而且輕蔑地對翻譯說：“告訴這個狗崽子，我寧願掉腦袋，也絕不與野蠻人一起飲酒！”
1945年6月，巴頓夫婦與在西點軍校學習的兒子巴頓在一起。頓要對納粹分子在某些地區的猖獗負責。
艾森豪威爾立即采取行動，命令參謀長史密斯將軍通知巴頓，要巴頓立即召見新聞記者，公開更正，消除影響。巴頓奉命行事。在記者招待會上，他隻是輕描淡寫地談了自己的“失誤”，為自己的觀點進行了辯解，並利用艾森豪威爾寫給他的一封信替自己圓場。巴頓的舉動深深地激怒了艾森豪威爾，他認為巴頓已經不可救藥了，他根本不適合做地方管理工作，而且也不能再指揮第3集團軍了。
9月28日，艾森豪威爾在赫希斯特召見巴頓。巴頓意識到這是決定自己命運的時刻，他匆匆從巴伐利亞趕來，沒有像往常那樣穿著整潔莊重，也沒有佩帶他心愛的手槍，隻是穿著簡樸的便服和軍靴。會見是在非常沉悶的氣氛中進行的，艾森豪威爾的表情十分凝重，而巴頓自始至終未發一言，隻是麵無表情地傾聽。調查人員出示了有關巴頓言行的調查材料。會見結束時，艾森豪威爾宣布：解除巴頓第3集團軍司令的職務。
10月初，最高司令部任命巴頓為第15集團軍司令。實際上，這支所謂的集團軍根本不能稱其為軍隊，全部由後勤服務人員組成，沒有什麼重要的使命。之所以安排巴頓這個職位，或許是給他一點顏麵，或許是給那些為巴頓ⅱq屈的人們一個交待。總之，巴頓的軍事生涯已經終結了。他曾經說，他願意在疆場上死於槍彈，但這一願望未能實現，反倒在和平時期被自己的過錯所葬送。