對廣東“地方主義”的平反，習仲勳投入了極大的精力。廣東反地方主義先後有過兩次，涉及麵很大，傷害的幹部相當多，影響了幹部的積極性。第一次是一九五二年到一九五三年，當時，廣東省的負責人因為廣東情況特殊，沒有完全按照中央的要求開展土地改革，中共中央和毛澤東對此進行了嚴厲批評，認為廣東解放後，在土地改革中“迷失方向，在農民問題上犯了右傾錯誤”，並認為方方犯了“地方主義”錯誤。中共中央華南分局第一書記葉劍英、第二書記馮白駒、第三書記方方等分別做了檢討，方方由中共中央華南分局第三書記改任為第五書記。翌年，方方再次受到批判，並受到撤銷中共中央華南分局第五書記、廣東省政府第一副主席等職務的處分，一大批地方幹部也受到處分和牽連。第二次反地方主義是在一九五七年底。在整風反右期間，中共廣東省委書記馮白駒和古大存因對五十年代初的“反地方主義”提出質疑，受到批判，由此有了廣東的第二次“反地方主義”，加之有人建議在組建海南區黨委班子時過多地提名海南籍幹部，被主觀地認為存在著一個“海南地方主義反黨聯盟”，於是省委於當年十二月作出《關於海南地方主義反黨聯盟和馮白駒、古大存同誌的錯誤的決議》，報經中央批準，撤銷馮白駒省委書記和常委職務，撤銷古大存省委書記、省人委黨組副書記職務。第二年，又以古大存對其錯誤處分不做任何檢討，對處分不服為由，報經中央批準，給予古大存撤銷省委常委、副省長職務的處分。
這兩次“反地方主義”，造成了極其嚴重的後果。尤其是第二次“反地方主義”，是在緊接著的反右派鬥爭之後進行的，嚴重混淆了兩類不同性質的矛盾，有的搞錯了，有的處分偏重。廣東的同誌一直對兩次“反地方主義”有意見，多次提出要重新審查古大存和馮白駒的問題。
習仲勳和中共廣東省委根據中共十一屆三中全會關於實事求是地解決曆史遺留問題的精神，決定對這兩次“反地方主義”進行複查，並希望地方幹部和外來幹部都要正確對待曆史上的遺留問題，團結起來向前看。解決“反地方主義”問題遇到了省委幾位領導的極力反對，但習仲勳還是堅持複查這一曆史積案。當古大存的夫人曾史文心存疑慮地問及此事時，習仲勳堅決地回答：“有兩種可能，一種可能是我被擠出廣東；另一種可能是把為地方主義等平反搞成。”一九七九年八月，中共廣東省委正式向全省發出《關於複查地方主義案件的通知》。《通知》指出：“當時認定古大存、馮白駒兩同誌‘聯合起來進行反黨活動’，存在一個‘以馮白駒同誌為首的海南地方主義反黨集團’；有的地方也定了一些地方主義反黨小集團。現在看來，這些結論都是不當的，應予以撤銷。”
但是，由於兩次“反地方主義”牽涉麵廣，曆時時間長，複查起來非常困難和複雜。習仲勳擔任中央政治局委員、中央書記處書記後，仍然關注這一案件。直到一九八三年，在陳雲、黃克誠和習仲勳等人的關心過問下，中共中央於這年二月九日發出《關於為馮白駒、古大存同誌恢複名譽的通知》，指出：“中央同意中紀委《關於馮白駒、古大存同誌的問題審理意見的報告》，撤銷一九五七年十二月廣東省委第八次全體會議（擴大）《關於海南地方主義反黨集團和馮白駒、古大存同誌的錯誤的決議》，撤銷對馮白駒、古大存同誌原處分的決定，恢複他們的名譽。”
這一案件複查後，一大批因古大存、馮白駒錯案而受牽連的地方幹部也先後恢複名譽，全省撤銷了原定處分的有一千二百二十二人，其中屬於中央和省委管理的幹部一百二十六人。同時，複查糾正了所謂“以馮白駒為首的海南地方主義反黨集團”、“陳恩地方主義反黨集團”、“蓬荊地方主義反黨集團”等案件。後來，經過複查，中共中央撤銷了對方方的處分，恢複了他的政治名譽。這宗曆時三十年的廣東“反地方主義”錯案，終於得以徹底平反。
對習仲勳在為“反地方主義”這一錯案的平反工作中所起的作用，吳南生有這樣的評價：“習仲勳來到廣東以後，依靠省委做了大量工作，對‘反地方主義’鬥爭進行複查。沒有習仲勳，我們當時很多話都不好說，也就沒法把平反‘地方主義’工作做好。”“習仲勳在處理廣東‘地方主義’問題時，頂住層層壓力堅持複查，平反了一大批冤假錯案，落實了幹部政策。沒有他，廣東平反‘地方主義’冤假錯案就不會這樣有成就。實踐證明，習仲勳的做法是正確的，維護和調動了幹部的積極性，促進了廣東局勢的穩定和團結。”