隨即，日本憲兵釋放了吳世寶，汪偽76號派來看守吳世寶的特務，自然樂得看到吳世寶被釋放，於是吳世寶順利地走出了汪偽76號。
吳世寶被釋放後，並非完全真正恢複自由。李士群當時又去了蘇州，對於此事，李士群這樣吩咐馬嘯天，首先，解封吳世寶的財產，然後，將吳世寶送至蘇州吳世寶名下原有的一座房產中，然後將吳世寶軟禁在他自己的房子裏三年。這三年，吳世寶不可以出門，由日本憲兵和汪偽76號的特務負責監管。
吳世寶當然也被通知，他會被軟禁在自己位於蘇州的房子裏。吳世寶對此也算滿意，沒有了生命之憂，就算是軟禁，也是在自己家裏生活，而且用不了多久，他也就能淡出日軍的視線，也許用不了三年，軟禁也就變得有名無實了。
第二天早上，吳世寶就和妻子佘愛珍一起乘車趕赴了蘇州，臨行前，汪偽76號的諸多特務都來給吳世寶送行，吳世寶怎麼也想不到，這一天，竟然是自己生命的倒數第二天。
當日，吳世寶抵達了蘇州，可走進自己位於蘇州的住處沒多久，吳世寶就開始上吐下瀉，佘愛珍趕忙請了醫生來為吳世寶診治，可吳世寶硬是沒能撐到第二天中午就咽氣了。據說，吳世寶死後，身體迅速萎縮，最後變成了猴子一樣小的一具幹屍。
吳世寶到底是怎麼死的？誰也說不清楚，不過問題也許就出在日本憲兵要他吃的那頓早餐上。後來，李士群死的時候，也一樣上吐下瀉，也一樣在死後身體迅速萎縮，變成了一具小小的幹屍。所以這死亡原因，大致應該相同。
影佐禎昭和晴氣慶胤調離上海
1942年7月，“梅機關”機關長影佐禎昭被調回日本，由鬆井太九郎少將接替影佐禎昭擔任“梅機關”機關長。隨後，晴氣慶胤也調回了日本。影佐禎昭和晴氣慶胤的先後調離，讓李士群措手不及，無從應對。
汪偽76號之所以能夠成立，並且能夠發展壯大，影佐禎昭和晴氣慶胤功不可沒。如果沒有這兩人的支持，李士群恐難將汪偽76號這樣一個特務組織，滾雪球一般發展起來。這兩個人的突然調離，不僅意味著他李士群失去了兩個強有力的日本靠山，還意味著也許日本人再也不會扶持汪偽76號了。因為1942年6月，美國在中途島海戰中獲勝，先後奪取了日本在太平洋上占領的一些島嶼，日本由戰略進攻階段轉為戰略相持階段。日本為了扭轉在太平洋戰場上的敗局，不得不從中國戰場上抽調大量的軍隊投入太平洋戰場。因此，影佐禎昭和晴氣慶胤被調走，隨之而被抽走的，也便是日軍對汪偽76號的大力支持。汪偽76號，也就失去了親娘，就剩一個實力並不夠強大的親爹——汪偽政府的支持了。這對於汪偽76號來說，不僅意味著失去了日軍的經濟支持和武力支持，還意味著其真的隻能夠依靠自己的力量去發展了。因為汪偽政府的實力，並不足以讓汪偽76號繼續像以前一樣為非作歹，而且汪偽政府早有將汪偽76號納為己有約束其行動的打算，隻是礙於日軍，所以一直放縱李士群不斷發展擴大。
所以，隨著影佐禎昭和晴氣慶胤的調離，汪偽76號的日子從如日中天，逐漸頹敗為滿目蕭瑟。
更為糟糕的是，緊接著，日本憲兵隊的科長林少佐、日軍軍部聯絡官小笠原中佐和“梅機關”蘇州分機關的機關長中村金子也都相繼調離。這些日本軍官的調離，讓汪偽76號元氣大傷，沒有了日軍做後台老板，李士群真的就成了沒娘的孩子了。
事情還不僅如此，前麵說過，吳世寶做了很多壞事，開賭場，造毒品，這些不僅將汪偽76號弄得烏煙瘴氣，也讓汪偽政府和日方對汪偽76號乃至李士群有了看法，連晴氣慶胤都曾經就這些事情認真地提醒過李士群。然而李士群卻為了牟取暴利，一而再、再而三地縱容吳世寶。以至於後來，汪偽76號被視為魔窟，汪偽76號的特務們甚至半公開地搶劫、詐騙、恐嚇、綁架和誘拐婦女，這些行為都讓日軍對汪偽76號越來越不滿意。
同時，李士群仗著日軍的支持，越來越不把汪偽政府放在眼裏，他操縱清鄉委員會，把持江蘇省的政權，打壓排擠汪偽政府江蘇各地的官員，逐漸成為了眾矢之的。
而且，汪偽76號成立以來，李士群的雙手沾滿了軍統局、中統局和中國共產黨地下黨組織諸多抗日鋤奸勇士的鮮血，當日軍的力量逐漸減弱，抗日的力量逐漸壯大，李士群的日子也就越來越不好過了。