總指揮趙世炎為穩定工人情緒，遂鼓勵工人道：“如果民眾運動不能進展，江浙的變化便是不可靠的，隻有民眾的工作來推動政局，才能成為有意義的變動。”
其強調：在發動民眾運動的時候，首先要竭力鼓起民眾的自信心，勞動階級在未得政權，未得解放之前，首要目的，是勞動群眾的自信力。這是取得鬥爭勝利的根本條件。
11月14日，北伐軍攻克九江，孫傳芳所部潰逃南京，直魯聯軍張宗昌部準備進入上海。上海形勢十分混亂。中共江浙區委決定抓住時機，再次舉行武裝起義。在群眾中廣泛發動的“倒孫拒張”運動，號召一切工會公開出來鬥爭。由於各工會的公開活動，各工會會員人數普遍增加，新的工會組織也不斷建立。到1927年1月，上海總工會領導下的組織已達187個，會員也增加了50%以上。總工會增設了經濟鬥爭部和糾察總指揮部。時趙世炎下令各部委武裝委員分頭對各區的糾察隊開始訓練。為發動海軍參加起義，中共中央指示區委下設一海軍支部，並組成“海軍三人會議”，由趙世炎任指導員。
中共中央軍委為起義方便，決定由區委組織軍事委員會，由趙世炎任主任。區軍委辦公地點設在閘北青去路洪發裏。
區軍委在組織工人武裝的同時，亦對農民運動加強了領導，於11月16日和12月7日兩次共委會上討論了這一問題。並決定以徐州為重點發展組織。
上海總工會組織在整頓自己隊伍的同時，進一步聯合學生、小商及資產階級，推動他們共同驅逐軍閥，建立上海民主政權。
就在中共上海黨組織第二次武裝起義時，蔣介石的反共傾向日趨明顯。12月28日，區委召開主席團會議，專門討論了蔣介石的政治傾向。趙世炎提出：“為使民眾不至於對蔣氏產生極大信賴，對北伐軍的歡迎，不宜特別提倡。”
1927年2月7日下午，上海總工會召集工會幹部百餘人在楊樹浦榆村路電車工會樓上開會，紀念“二·七”，並準備總同盟罷工和第二次武裝起義，提籃橋巡捕於開會時突然衝入會場，除汪壽華和羅亦農二人由亭子間逃跑外，餘皆被捕。汪急報區委，區委下令全市工人罷工。同時，汪壽華找到工部局虞洽卿，經虞出麵，被捕工人被釋放。
2月16日，區委舉行全體會議，對暴動作出決議，謂：
“主要的是罷工，次要的是武裝繼續。局麵很緊，要快準備。……蔣介石為一切反動派所包圍……蔣非消極即反叛與屈服，現在要使民眾知道蔣必反革命，說北伐軍、國民政府好而蔣不好。”
2月17日，北伐軍占領杭州。18日，北伐軍先頭部隊到達嘉興。時鈕永建、吳敬恒等計劃召集特務委員會、上海市黨部、江蘇省所領導的黨部聯席會議，籌建組織市政府。然中共所領導的“上海市總工會”之汪壽華要求建立“市民委員會”，以造成上海暴動情勢。鈕、吳對汪之要求予以拒絕。汪不為其所左右，遂令上海總工會發出通告，決定2月19日起全市開始總同盟罷工。並頒發罷工令。全市工人立即響應。第一天參加的達15萬人，到2月23日，增加至36萬人。罷工範圍遍及上海各個區域和各個行業。罷工開始後，上海交通斷絕，工廠停工，商店關門。
從2月21日晚間，就不斷發生工人向軍警奪取武器的行動。於是，區委決定於27日下午6時由總同盟罷工轉入暴動。時趙世炎、汪壽華在洪發裏指揮。趙派人送信給海軍兵艦上的中共黨員，令其開炮轟擊南昌廟兵工廠。很快停泊在高昌廟附近的建威、建康號炮艦上的炮聲響了。此為起義信號，立時各糾察隊開始襲擊軍警，奪取武器。閘北和南京的一些地方的工人和軍警發生了巷戰。
帝國主義和孫傳芳所部相互勾結，對罷工工人實行殘酷的白色恐怖。剛罷工兩天，死、傷和被捕的民眾就達百人以上。白色恐怖更加激怒了上海的工人、學生和市民。在暴動開始後，上海各社會階級與各革命黨代表成立了“上海市民臨時革命委員會”。這個委員會是在總同盟罷工和武裝起義的鬥爭中產生的，是過渡到上海市民代表會議的臨時政權組織。
當雙方巷戰激烈展開之際，由於白崇禧人馬停在嘉興沒動，暴動得不到北伐軍的支援，起義失敗了。此次起義中，工人學生40餘人犧牲。300餘人被捕。
上海沉浸在白色恐怖中。
為避免更大的犧牲，總工會於2月24日晨發出複工令，稱：
“本會鑒於奮鬥之時方長，不宜孤立作戰，致損失過甚，特命令全體工友，於本月24日午後1時，一律複工，養精蓄銳，準備更大的奮鬥！”
二次武裝暴動失敗。
3月20日，國民革命軍占領了龍華。盤踞於上海的直魯聯軍已軍心煥散，軍事布署紊亂，暴動時機成熟，時中共中央派周恩來抵上海。周乃中共中央軍事委員會書記並兼江浙區軍事委員會書記。此次暴動，由周任總指揮。羅亦農、趙世炎亦擔任起義領導工作。