習仲勳從河南回到北京後，因家中住房擁擠，暫時住在全國總工會招待所。昔日的同事和戰友，聽說習仲勳回到北京，都到這裏來探望他。由於人很多，又南下在即，時間很緊，他便不得不把每天的接待時間延續到淩晨四五點鍾。
四月五日，習仲勳從北京乘飛機抵達廣州，一到住地就投入緊張的工作。
四月六日上午，習仲勳出席中共廣東省第四次代表大會第三次全體會議。韋國清首先介紹習仲勳和代表見麵，大家表示堅決擁護中共中央的決定，熱烈歡迎習仲勳來廣東工作。習仲勳發表了熱情洋溢的講話。他說：“這次黨中央分配我到廣東工作，感到擔子很重。我決心和同誌們一起，在省委的集體領導下，努力做好工作。”他強調做好廣東工作的重大意義，指出當前為了實現新時期的總任務，必須努力學習，大力宣傳黨的十一大路線和五屆全國人大會議精神；必須把揭批“四人幫”的鬥爭抓緊、抓好，把被“四人幫”敗壞了的黨的優良傳統恢複和發揚起來；必須堅決落實黨的幹部政策、知識分子政策、統一戰線政策、僑務政策、民族政策、對敵鬥爭政策，以及經濟建設中的各項政策；必須賞罰嚴明，伸張正氣，打擊歪風，正確區分和處理兩類不同性質的矛盾，調動一切積極因素，團結一切可以團結的力量，在廣東全省真正掀起一個經濟建設和文化建設的高潮。
習仲勳在講話中感情真摯地說，北方水土養育了他大半輩子，現在到了廣東，要靠南方水土養育下半輩子。他的講話言語不多，但把廣東作為第二故鄉，要和廣東人民共同奮鬥的決心溢於言表，感人至深，給與會代表留下了深刻的印象。據時任中共惠陽地委副書記兼寶安縣委書記的方苞回憶：“他不像很多人那樣，講話都用稿，他講話沒有稿子。再者他的話語很樸實。他在講話中還講到自己的不足，說自己剛到廣東，對這裏的具體情況還不熟，可能會犯一些錯，希望大家指正，這讓我們感覺到他和我們很交心。”
六日下午，在中共廣東省委四屆一次會議上，韋國清當選為省委第一書記，習仲勳當選為第二書記。與此同時，中共中央還任命習仲勳為廣東省革命委員會副主任（同年十二月任主任）。會後不久韋國清返回北京，廣東的工作由習仲勳主持。他把主要精力放在省委的工作上，省革委會的日常工作則放手由劉田夫負責。
這時，習仲勳身體雖然還好，但畢竟六十多歲了。廣東省是“文化大革命”的重災區，創傷累累，百廢待興，百亂待理，局麵紛繁複雜，工作任務十分繁重。正像他所說：“我到廣東前，已經十多年沒有工作了，一下子到位置重要而情況又比較複雜的地方工作，在當時難度畢竟是比較大的。”麵對這種情況，習仲勳義無反顧地“以一個老共產黨員的革命膽略、遠見卓識、大無畏氣魄和高度的曆史責任感，既沉著麵對，又雷厲風行，團結省委一班人，穩住大局，勵精圖治”。
習仲勳上任不久，葉劍英就到廣東視察工作和休息。葉劍英在聽取了習仲勳關於廣東工作初步設想的彙報後，以六句話相贈：“深入調查研究，穩妥製定計劃；及時報告中央，按步執行實施；分清輕重緩急，注意保密安全。” 習仲勳在廣東工作期間，一直把這六句話作為自己的座右銘。
一九八○年一月，習仲勳兼任廣州軍區第一政委。在革命戰爭年代，習仲勳長期從事軍隊政治工作，有豐富的經驗，與軍隊中許多老帥、老將軍有著密切的關係。善於協調軍地雙方的關係，是他的突出特點。他在廣東工作期間，十分關心廣州軍區的部隊建設和政治工作，把部隊建設作為省委一項重要工作，注意動員地方各方麵大力支持國防建設，有效地保障了部隊在廣東的生產生活和訓練需要，使部隊建設進一步發展。同時，習仲勳十分注意把部隊建設與地方的改革開放和經濟建設結合起來，發揮軍隊優勢，使部隊在保衛國防和抗災搶險等重大任務中發揮了重要作用，受到了廣東人民的擁戴。這一時期，廣東軍政之間、軍民之間關係團結融洽，“雙擁”工作走在全國前列。