越來越多的黨員開始懷疑這樣的黨再存在下去究竟還有沒有必要，消極失望的情緒遍布全黨，不久日本共產黨就黯然地解散了，每個人都仿佛卸掉了一個無形的包袱，大鬆了一口氣。極力反對解散黨的荒勝三無奈地接受了這個事實，剛剛從莫斯科回來的他和德田球一一起重新建立了一個和共產國際保持聯係的小機關。幸好，一 些 黨 員 也 沒有因為黨的解散就停下了工作，他們到各個工會中繼續著自己的理想。這一時期的日本共產黨就好像被風吹散的蒲公英，他們失去了組織機構，卻紮根到各個工會同盟中。1924年1月，日本爆發了第二次護憲運動，要 求 在日本實行普選，並 建立政黨內閣。一個月後，在日本工人間有很大影響的總同盟大會召開，日本共產黨工作方向的轉變也以該大會的召開為起點。
日本的工人運動在經過了無數波折之後，逐漸成熟，不應再在“少數人的運動”的窠臼中裹足不前，而是應該進入群眾運動的新階段。在大會上，由東京大學學生赤鬆克寫下的宣言被公開。宣言中認為，日本的工人運動不能再向以往那樣消極地運用改良政策，必須積極起來。雖然在日本建立資產階級議會，並將解放工人階級的希望寄托在議會上極不現實，但至少可以爭取普選。一旦得到了普選權，便可以通過手上的選舉權爭取到部分政治利益，喚醒無產階級的政治意識。現在，日本的無產階級必須開始審慎考慮國際勞工會議的意圖，隻有這樣才有利於日本工會的進步。
雖然事後據赤鬆克所說，這份宣言得到了身為右派的社會民主主義者和作為左派的共產主義者的共同支持，但實際行動起來，二者表現出的態度卻截然不同。大會結束了，前者並沒有履行宣言的意圖，後者卻積極行動起來，一 些 共產黨人紛紛帶著自己的工會加入到總同盟中來，引起了總同盟中一直對共產黨心有芥蒂的社會民主主義者的不滿。二者在工作中時時發生摩擦，迅速成為相互對立的兩大陣營。
1925年3月，當總同盟大會再度召開時，雙方的矛盾已達到白熱化程度，原本就傾向社會民主主義者的總同盟會將左派人士領導的工會開除。這次，已 經 相 當成熟的左派人士沒有被小小的挫折打倒，他們迅速組建了日本工會評議會。沒過多久，工會評議會的規模就超過了總同盟會。1925年，評議會旗下的工會多達32個，雖然比總同盟管理的工會少3個，卻人數眾多，擁有12655名會員，比總同盟的多了2259人。日本共產黨雖解散了，但這些依舊活躍的共產黨人卻沒有忘記曾經“到群眾中去”的理想，並在短短數年時間內，成功地實現了這一理想。
總同盟自己都沒有想到，共產主義者的力量竟如此不可小覷，它不僅吸納來總同盟中不少優秀會員，還吸收了一直被總同盟拒之門外的激進工會。
任何一個國家的工人政治團體，在 成立之初都要麵臨著數不清的困難，工會評議會也是如此，在其成長過程中，不僅有來自政府和與工人對立階層的重重迫害，還有工人階層內部的諸多複雜問題。日本的工人政治團體遠不像想象中的那般團結，它們各有各的政治理想、政治主張，而在這樣複雜嚴峻的環境下迅速壯大起來，恐怕是給1924年初那些對共產主義的未來失去信心的共產黨員們意外的驚喜。鍋山貞親、近藤榮藏、荒勝三，在建黨之初還隻是社會主義者，此時都已經開始大幅度傾向共產黨。曾經靠“叛逆精神”和說不出來的熱情支撐著的日本共產主義者們日趨理智，群眾基礎也日趨壯大。共產國際本不希望看到總同盟會的分裂，同是無產階級，團結一致的力量畢竟比分開來要好，但既然分裂已是事實，也隻有接受才能另做打算。工會評議會成了共產國際在日本的最重要支部，看著其總部上上下下加在一起不過5名的幹部，人們很難想象評議會的會員遍布日本各地，且隻用了1年的時間，就擁有會員33300人。而評議會的機關報紙《勞動新聞》發行數更是突破了4萬份，工人評議會成長之快，由此可見。
總同盟會自然不甘被評議會的聲勢蓋過，他們開始把目光集中到為數不少的農民身上。日本的資本主義帶著濃厚的封建色彩，而無論在古代還是近代，農民們都承受著難以想象的苦難。1926年，總同盟會不失時機地和當時的農民組織——日農結合，成立了和日本共產主義者們相抗的勞動農民黨。
日農於1922年成立，本是農民們反抗地主的聯盟。20世紀20年代，日本的佃農鬥爭此起彼伏，僅1921年1月，就爆發了1680次，整個日本有15萬佃農都曾經和地主進行過正麵較量。正如日本共產黨在一次次的工人鬥爭中成長起來，日 農 在一次次的農民運動中發展壯大，在並入勞動農民黨的前一年，日農就已擁有成員75000人。
但是沒過多久，左派人士就成功地滲入勞動農民黨中，並在這原本為右派執掌的黨中發展壯大，掌握了該黨的領導權，以致該黨內的右派人士不得不在1926年集體退黨，另建全日本農民組合同盟，這一同盟後來變成了日本農民黨。
從這以後，在 全 國 頗 有 影響力的日農逐漸和工會評議會成為盟友，工農聯合的政治鬥爭逐漸形成。這種情況大大出乎總同盟的預料，原本想借日農力量和工會評議會抗衡的他們沒有想到，日農竟和工會評議會共同戰鬥，1926年10月，總同盟也無奈地退出了勞動農民黨，並於兩個月後建立了社會民眾黨。
然而，退黨也好，再立新黨也罷，都沒有改變此時日本各黨派中左右勢力並存的複雜狀況，總同盟中有為數不少的左派，日農裏也有很多右派，情況愈發複雜。於是，幾乎在社會民眾黨成立的同時，其中的一些中立人士組建了日本勞農黨。
在不到一年的時間裏，曾經規模浩大的勞動農民黨就先後分成了勞動農民黨、日本農民黨、社會民眾黨、日本勞農黨等4個政黨。這既是左右派矛盾激化鬥爭的結果，又是成分複雜的勞動農民黨注定的命運。在風雲變幻的政治大環境中，這4個政黨都不甘示弱，1928年，各黨都參加了日本的第一次普選，日本共產黨也借此之機，成功地進入議會。