為了解決上海的糧食問題，日本人要求“清鄉”地區放寬物資統製，尤其是要放鬆稻米的輸出限製，以讓糧食運進上海，解決其燃眉之急。沒想到，李士群非但沒有配合日本主子的“大局”，反而在76號的機關報上公開發表文章，和日本人唱起了對台戲：“上海之所以糧食不足，是因為不斷有難民從治安狀況不好的農村流入上海。如果目前農村的治安狀況這樣持續下去，而上海的糧食又富餘，難民就會越來越多。因而無論供應多少稻米都不可能滿足上海的需要。如果恢複農村的治安和地方產業，那麼上海的難民就會重新回到地方上去，糧食不足的問題就會自然而然獲得解決。清鄉工作即將抵達成功的彼岸，其經濟政策發生變化會破壞保證，從而失去信用，還會動搖清鄉工作的基礎。結果，辛辛苦苦取得的成功將毀於一旦。如果無限製地輸出稻米，那麼清鄉地區的物價就會上漲，清鄉地區的民眾生活就會惡化，辦事處就會失信於民眾。上海不應希冀於目前的安寧而要求糧食，相反地應以人力和物力來協助清鄉地區的經濟建設，發展後方，這才是繁榮上海的百年大計。”
李士群不顧他的日本主子已經火燒屁股的事實，在那裏大談特談“治標”還是“治本”的問題，振振有詞，一副十分有見地的樣子。可以想見，如果當時資訊的傳播有如今這麼發達，有什麼“博客”、“微博”之類的途徑，李絕對會是個一邊大把撈錢一邊不斷發表高深言論的“偉大炮手”。從這一點上來說，李士群可以說是生不逢時！
日本方麵徹底被李士群激怒了，可他們一時也沒有什麼好的辦法，畢竟李士群掌握著“清鄉”的實際大權，暫時還不能把他怎麼樣，隻好隱忍以待時機。但情況卻對李士群越來越不利了。
李士群在日本人那裏的直接後台晴氣慶胤，突然被調任華北方麵軍的參謀，專門負責研究對付華北的共產黨的政策，這讓李士群失去了他在日本方麵最為直接的安全屏障。不久以後，汪偽政權軍事顧問部的頭子影佐禎昭也奉命被調到了滿洲，柴山兼四郎接任影佐禎昭的原職。支持“清鄉委員會”的影佐一調走，對“清鄉委員會”早已恨得牙根癢癢的周佛海等人就策動柴山撤銷了這個委員會，將“清鄉”的指揮和控製權收到了周佛海掌握的偽行政院。
短短時間之內，風雲突變。李士群的靠山一個接一個被調離，自己也喪失了對清鄉運動的領導權。這樣的劇變不但沒有讓他警醒，他反而仗著自己手中掌握著汪偽政府的“搖錢樹”江蘇省和特工大權，試圖與周佛海等人拚個你死我活。
1943年夏天，李士群和日本人的矛盾已經到了公開化的地步。日本人深感在李士群控製的地區難以有效地完成籌糧工作，幹脆直接把這個球踢給了他，以秋後保證征繳五萬噸軍糧為條件，撤銷了對蘇州地區的糧食軍管。李士群不但沒有積極籌集，還夥同汪偽政府和偽江蘇省政府的有關官員把大批糧食倒賣出去，從中獲取暴利。結果期限到時，李士群他們連日本人規定任務的三分之一都沒有完成，這讓日本人十分惱怒，就秘密逮捕了夥同李士群倒賣糧食的兩個人。找到了李士群參與販賣糧食的證據之後，日本人執意要求汪偽政府將這兩個人槍斃，算是對李士群進行“黃色預警”。
此時李士群已經失去了自我控製的能力，依然飛揚跋扈，行為舉止都十分招搖。日本人對此大為不滿，他們決定要對李士群下手了。
為了處理好李士群的問題，柴山親自飛往北平，就這件事和已在華北方麵軍任職的晴氣進行了專門的商談。柴山認為，李士群手中的權力過大，已經變相控製了汪偽政府的財政大權，而他又不肯聽從柴山的建議辭去偽江蘇省政府主席的職位，所以隻有設法強行要求李士群交出這個位子。他找晴氣就是想為此取得晴氣的支持，並替他出謀劃策。晴氣一來“不在其位不謀其政”，二來他和李士群一直有著較好的私交，所以也沒有給出什麼建議，這次會商無果而終。
柴山走後的當天晚上，晴氣還給李士群寫了一封長信，讓他自重。但是，這一切已經無法改變李士群的命運了。