5月27日，黃永勝為緊跟形勢，回到廣州後夥同政治委員、第二書記劉興元召開碰頭會議。在會上，黃永勝提出：“明天黨委召開會議，研究常委班子調動問題。決定不要郭成柱、陶漢章、相煒參加。撤了廣州軍區副司令員文年生副書記之職，隻在常委中留一職務。”並說這樣才有利於團結。
會上，任某提議“對相煒、江民風曆史要審查，要成立專案小組，由軍區負責人掛帥，由孔萊、江副參謀長和我組成。”黃永勝對此表示讚同，以此為起點，開始迫害軍區領導幹部，製造了文年生、相煒、江民風、陶漢章反革命冤案。
1967年12月8日，黃永勝批示成立相、江、陶三個專案小組，每組七至八人。
1968年3月1日期，在沒有事先報告軍委和總政等上級組織批準的情況下，經過黃永勝批示，為查清文年生副司令、晏福生副政委、郭成柱副政委和陳青山副主任的問題，成立了專案小組，黃永勝指出：“晏福生主要是查同賀龍的關係。”
1968年4月進京以後，黃永勝仍在北京遙控廣州軍區專案審查小組，誣陷文年生、相煒、江民風、陶漢章陰謀奪權搞政變。誣稱王、關、戚反革命陰謀集團和相煒、江民風問題有聯係。當專案組向黃永勝彙報，說查不下去了，沒法查時，黃永勝說：“不要慌嘛，可以慢慢搞嘛，王、關、戚都在關著嘛，將來是可以查清的嘛。”據統計，在“文化大革命”中，黃永勝在廣州軍區策劃製造的文、相、江、陶冤案，遭誣陷迫害的幹部達764人。因“廣東地下黨”冤案而受到誣陷迫害的人達7200多，廣東省副省長林鏘雲被抓起來之後，黃永勝對一個負責人說：“敵人檔案裏搞出來林鏘雲是個壞家夥，為什麼不鬥？是不是幾個學生常委不行。要把林鏘雲他們的材料印出來交群眾去鬥，群眾有些事情可做，想辦法引導群眾把敵人揪出來。”他們利用極其毒辣凶殘的手段，逼一些人承認廣東地下黨是“特務組織”、“叛徒支部”、“國民黨支部”，追查地下黨的上級領導，致使許多領導幹部被迫害致死。不少人冤獄多年，身心遭以嚴重的摧殘，大批幹部家破人亡，妻離子散，林鏘雲等85人被迫害致死。其中包括我黨早期著名農民運動領導彭湃烈士的母親、兒子以及烈士的侄兒、堂弟、堂侄等。連黃永勝自己後來交代問題時也承認：“我是拿竹竿打人，竹竿子長得很，傷害人很多。”
黃永勝進京後不久，就主持召開總參黨委擴大會議，在會上說：“總參出了不少壞人，有黃克誠、羅瑞卿、張愛萍、王尚榮，現在又出了楊成武，這是不足奇怪的。”12月25日，他在聽取總政軍管小組彙報時說：“你們要交代政策，利用矛盾，分化瓦解，各個擊破”，“要深挖一下，對幹部要排排隊”，“總政是水淺王八多”，“總政情況複雜，是閻王殿，是幾代招降納叛的地方，是階級鬥爭複雜的地方。”
在此期間，黃永勝以總參謀長和軍委辦事組組長的身份，秉承林彪旨意，成立材料組，羅織罪名，陷害領導人，並且停發軍委幾位副主席的文件，收繳中央軍委的全部印章。如在總政製造冤案792起，受誣陷迫害的達839人，其中軍以上幹部52人。在砸爛總政的大冤案中，給當時領導人和幹部職工強加的罪名有“叛徒”、“特務”、“現行反革命分子”、“反革命修正主義分子”等，有482人被非法關押，使總政副主任袁子欽及王冰等17人被迫害致死，95%以上的機關幹部和直屬機關的大批幹部被趕出總政。
與此同時，黃永勝采取顛倒黑白的手法，歪曲曆史事實，剛到總參就在林彪的指使下，誣陷聶榮臻是“華北山頭主義”後台，11月又說：“每一個大轉折總有些人出來反對主席的正確路線，有的是自覺的，也有的是不自覺的。聶榮臻這一輩子也沒有幹什麼好事。這些人是不會死心的，一有適當的氣候就會起來搞名堂。”如同打擊羅帥夫人一樣，實際上從1933年至1944年，黃永勝一直在聶帥領導下工作，對聶榮臻的革命鬥爭經曆是親眼目睹了的。無怪乎在1980年的審判期間，黃永勝矢口否認講過這句話。
1968年5月，黃永勝在對賀龍專案組人員講話時，大肆鼓動說：“賀案很重要，是大土匪，大軍閥，大陰謀家。這案很大，麵很寬，有很多人，要在這個基礎上繼續努力。搞案本身就是一場階級鬥爭，要把埋在身邊的定時炸彈挖出來，要猛打窮追，要團結一致，共同對敵……”並扣壓了賀龍元帥寫的八封申訴信。
最慘無人道是1968年8月黃永勝與吳法憲召集羅瑞卿專案組開會，傳達林彪誣陷“羅瑞卿是罪大惡極的反革命分子，十分狡猾，可惡之極。”與此同時，在原羅瑞卿專案組寫的一個關於推遲羅瑞卿手術治療的報告上批示“同意”，讚同對羅瑞卿進行不間斷的審訊和鬥爭，待秋後再動手術。這使將軍的左腿失去了安裝假肢的可能，在精神上和肉體上受到了極大的折磨和摧殘。
在處理彭德懷一案中，黃永勝也起到了推波助瀾的作用……