不久，葉公館擴大組織，日本憲兵隊撥給軍管的極司菲爾路76號（現萬航渡路435號）大花園洋房作為新址。這所洋房，原屬國民黨軍事參議院院長陳調元所有，淪陷後由日軍管理。於是他們正式成立“特工總部”（簡稱“76號”），由丁默邨任主任，李士群、唐惠民分任副主任。又成立“警衛總隊”由李士群兼總隊長，吳四寶（改名世寶，字雲甫）為副總隊長，張魯為參謀長，葉吉卿為財務主任，吳四寶之妻佘愛珍為經理主任，“76號”前沿馬路華村20多幢三層樓房以及對麵75號五層大樓的居民，全部被逼遷移，這些房屋即占為特工總部的辦公處和宿舍。
警衛總隊的槍械來源有兩起。一是由日本憲兵隊用大皮包裝來，都是二、三號駁殼槍和6寸手槍，約有60支，由李士群轉交張魯接收，經範雨人造冊後撥給警衛總隊使用。又有一起是在偽警政部成立後，由部撥交舊式步槍100支，在南京三叉河裝上惠民兵艦，由特工總隊常駐南京區的日本憲兵曹長大橋護送至滬交給“76號”。
日本憲兵隊還在“76號”裏成立了一個名叫“梅機關”的指揮機構，對外稱為顧問。特工總部南京區則由南京日本憲兵隊本部特高科長（後調上海北四川路憲兵隊長）的藤岡英雄負責指揮。這裏常駐日本憲兵特務班一班，有班長馬場準尉和曹長、軍曹等七八人，南京區每天收集的情報，都要向特務班彙報，對外行動，事前要和他們取得聯係，才得執行。
偽國民政府“還都”時，漢奸大員都由他們協助保護。南京區的職員宿舍，由日方供給，門上懸掛“南京日本憲兵隊特務班宿舍”的牌子。南京區直轄的蕪湖、鎮江、蚌埠三個特工站，則由特務班各派憲兵一人常駐。
被一般人目為魔窟的“76號”，大門日夜敞開，武裝守衛，戒備森嚴。頭道二道大門，砌成牌樓，上書“天下為公”四個大字，院內高豎青天白日滿地紅的國民黨國旗，內部另辟一室，懸掛國民黨黨旗和孫中山遺像，這些都是做幌子的。
“76號”的主要工作對象是鎮壓淪陷區的抗日誌士。被捕的人，先由吳四寶手下的亡命之徒非刑逼供，慣用的有灌水、抽打、上老虎凳等酷刑。其他區、站、組的情況也是如此。
特工總部成立後，為避免租界當局注意，請領汽車執照時，都用私人名義，內有用嶽光烈（財務科長）名義領照的一輛，1940年春，“76號”人員乘該車在租界內有所行動未遂，執照號碼為捕房抄去。某次嶽光烈乘該車去戈登路（現江寧路）立泰銀號途中，為戈登路捕房連人帶車關進捕房。嶽的同事孫時霖前往探詢，也被扣留，並將司機名老李者用電刑逼供，要他招出在租界內的綁架案件。後由“76號”向捕房疏通，才取保釋放。事後聽說，“76號”曾被戈登路捕房敲去一筆很大的竹杠。此後，“76號”有幾輛汽車出事，無法再在上海行駛，曾運至南京區使用。
這一時期，重慶也有軍統中統的“上海區”人員留駐上海，與“76號”勾心鬥角，互施報複。季雲卿（李士群的老頭子）、曹炳生（法租界捕房督察處長）、陳明楚（特工總部南京副區長）、餘王介（特工總部無線電台長）等，都因與“76號”關係密切，被對方暗殺。季雲卿被殺地點，即在成都路季宅附近，算是給“76號”的一次示威行動。季死後，一應喪儀都由李士群負責，並對季妻金寶師娘始終敬如上賓，可見他們之間的關係非同尋常。
1938年12月，汪精衛離開重慶，轉道昆明到越南河內，發表豔電，主張“響應日本首相近衛文麿的三原則，停戰言和”。這時日方一手扶植的南北兩個傀儡政權（以王克敏、王揖唐為首的“華北臨時政府”和以梁鴻誌、溫宗堯為首的南京“維新政府”）因資望不孚，作用不大，因此以“南北統一，恢複國民黨政府”為餌，誘汪上鉤，派人與汪秘密接洽，一拍就合，即由日方護送汪秘密來到上海。汪在來滬前，先派陳春圃到上海，與丁默邨、李士群等聯係，布置汪精衛來滬後的安全和警衛問題。陳春圃住在“76號”，李士群乘機大獻殷勤，極力招待。不久汪精衛到上海，住在愚園路1136弄內，對外嚴守秘密，李士群命張魯兼任警衛總隊第一大隊長，挑選身強力壯的警衛人員100餘人，駐在該弄弄口洋房內，負責汪精衛的安全。
汪精衛到上海後，首先發動宣傳攻勢，進行輿論準備，不久汪係機關報《中華日報》即在滬複刊。該報在抗戰前本由曾仲鳴主持，曾隨汪離開重慶，在河內被暗殺，此次則由林柏生主持。複刊後的《中華日報》大量散播漢奸言論，汪本人也不時為該報寫文章。他在所寫的《舉一個例》一文中，曾公開宣布，南京未陷落前，蔣介石通過德國駐華大使陶德曼試探日方媾和條件，現擬繼續尋求和平途徑，以此證明國民黨的主要目標是和平，和平未到絕望關頭，決不放棄和平等等。這篇文章的發表，曾在淪陷區人民中引起很大的反感。