一九七八年四月，習仲勳返回北京後不久，就奉命去廣東“把守祖國的南大門”。在這裏，年逾六旬的他，深入實際，調查研究，努力工作，要把失去的十六年時間補回來。他團結中共廣東省委和廣東省革委會（後改為省人民政府）一班人，率領廣東人民，開展整風運動和實踐是檢驗真理標準的大討論，撥亂反正，解放思想，實事求是，平反冤假錯案，恢複黨的優良傳統和作風，全麵糾正十年“文化大革命”的錯誤，開創了廣東工作的新局麵。
春節後的首都北京，雖然天氣寒冷，但已透出春天的氣息。習仲勳懷著對首都的深情眷戀和對黨的事業的堅定信心，從河南洛陽再度回到北京。這次中央召習仲勳回京，是為了要他參加政協第五屆全國委員會第一次會議。
一九七八年二月二十四日至三月八日，習仲勳作為特邀委員，出席政協第五屆全國委員會第一次會議。當習仲勳出現在人民大會堂時，那些熟悉他的同誌和戰友們，都十分驚喜。對他們來說，曆經劫難，九死一生，今日能得以相聚，實在是一大幸事。這次會議一致選舉鄧小平為第五屆全國政協主席，習仲勳當選為全國政協常委。與此同時，第五屆全國人民代表大會第一次會議也同時舉行。習仲勳列席這次會議，聽取了國務院總理華國鋒所作的政府工作報告。會議還選舉葉劍英為全國人大常委會委員長。
會議期間，葉劍英親切接見了習仲勳。他一見到習仲勳不禁愣住了，驚訝地說：“仲勳同誌，你備受磨難，身體竟還這麼好！”習仲勳激動地望著年逾八旬的葉劍英，由衷地感謝他在百忙中接見自己，簡要地彙報了自己的情況。習仲勳十分敬佩葉劍英在黨和國家生死存亡的關鍵時刻，同華國鋒等中央領導一起，堅決果敢地粉碎了“四人幫”反黨集團，他認為這些領導人在中華民族危難時刻所起的巨大作用，將永載史冊。
習仲勳和葉劍英在延安時就相識，他對葉劍英淵博的軍事知識、卓越的組織指揮才能和政治上的遠見卓識，十分欽佩，也很仰慕葉劍英的為人。習仲勳後來回憶說：“當時葉劍英同誌年事已高，工作日夜繁忙，還抽空接見了我。他見我身體很好，非常高興，緊緊握著我的手，鼓勵我要向前看，以後多為黨做工作。他那寬廣的胸懷，恢宏的氣度，對同誌親切、謙和、真摯和深情厚誼，使我感動得熱淚盈眶。一個共產黨員，還有什麼比能為黨多做些工作而感到幸福和自豪的呢！”
葉劍英接見習仲勳出於兩方麵的考慮，一方麵是習仲勳被錯誤審查關押十六年後剛剛恢複工作，另一方麵是他希望習仲勳到廣東去工作。當時中共廣東省委第一書記、省革命委員會主任韋國清身兼數職，既是中共中央政治局委員、全國人大常委會副委員長，這時又被任命為中國人民解放軍總政治部主任，同時還兼廣州軍區第一政委。韋國清在北京的政務和軍務十分繁忙，廣東省的工作實際上難以兼顧。而廣東是祖國的南大門，戰略地位十分重要，那裏的問題又比較複雜，還有大量的冤假錯案沒有平反。因此，分管廣東工作的葉劍英就想到了資格老、級別高、從政經驗豐富的習仲勳，考慮讓他南下廣州，主持廣東省的日常工作。
葉劍英同華國鋒、鄧小平等領導人交換意見後，中共中央於四月初決定習仲勳擔任中共廣東省委第二書記。盡管這一職務同他當年曾經擔任過的中共中央西北局主要領導人和國務院副總理的級別相差甚遠，但對飽經憂患、被錯誤處理、關押十六年之後的習仲勳來說，能重返政壇，在有生之年為黨和人民做些工作，已經感到責任很重大了！
習仲勳很快得到組織分配他到廣東“把守南大門”的通知。在動身去廣東之前，華國鋒、葉劍英、鄧小平、李先念和汪東興等都接見了他，對習仲勳到廣東工作寄予很大希望，一再指出做好廣東工作具有十分重大的意義。黨中央和老一輩無產階級革命家給習仲勳以充分的信任和熱情鼓勵，使他深為感動，受到很大鼓舞，同時也感到責任重大。時隔多年後，他回憶說：
我已有十六年沒有工作了，一出來工作就來到了祖國的南大門廣東，覺得任務很重，心裏不大踏實。當時，中央幾位領導同誌，特別是小平、劍英同誌都找我談話，要我大膽工作，來了要放手幹。
接著，中共中央組織部部長胡耀邦，在京約請中共廣東省委第一書記韋國清和中共廣東省委書記吳南生談話，宣布中央的決定，並對他們說：“中央決定讓習仲勳到廣東擔任省委第二書記，這是葉帥提名，大家也都同意的。”由於韋國清要趕回廣州主持召開中共廣東省第四次代表大會，便把習仲勳赴廣東的事情交給了吳南生辦理。吳南生在全國總工會招待所找到習仲勳，商量確定了他赴粵的具體事宜。