上海工人第二次武裝暴動後，軍閥和資本家嚇破了膽，到處組織保衛團。於是，區委決定派人趁機打進去。對此，周恩來對所派的黨員道：“我們要進行訓練，可是不能公開，很受限製，因此，我們才決定派一部分同誌打進去，既奪取一部分武器，又能利用公開身份進行訓練。”
趙世炎接著說：“大家想想看，是讓保衛團成為保衛軍閥和反動資本家的武裝呢？還是我們進去武裝自己，得到軍事知識，變為保衛工人階級的武裝呢？”
於是，有不少中共黨員打入保衛團。
為保證暴動勝利，周恩來等在先進的工人中組織了5000名武裝糾察隊隊員，並秘密進行軍事訓練。3月20日，區委召開了上海臨時市民代表會議，選出了執行委員31人，會議通過了決議，頒布了上海市的施政綱領，產生了革命臨時政府。工作積極開展起來。
周恩來、趙世炎、羅亦農等還根據敵人所在地的勢力強弱的不同，劃分了7個作戰區域，即閘北、滬西、南市、虹口、浦東、滬東、吳淞。
為保證暴動順利進行，切斷對上海守敵的各種援助，暴動前10天，鐵路工人就舉行了大罷工，中斷了鐵路運輸。
當國民革命軍進抵龍華時，直魯聯軍畢庶澄的3000士兵軍心動搖，2000警察更無鬥誌，時上海的工人和市民群眾的革命熱情已達頂點。區委認為暴動時機已到，決定發動武裝暴動。暴動在7個作戰區同時進行。起義指揮部設在閘北寶山路南端的一所房子內。
暴動的重點是閘北區。
3月21日中午12時，上海總工會發布了總罷工令，上海市80萬人舉行了總同盟罷工。罷工群眾紛紛跑上街頭，按預定地點集合起來，高唱著“打倒列強，打倒列強，除軍閥、除軍閥，國民革命成功！”的歌曲。口號聲震天動地。接著，全市槍炮聲大作，激烈的戰鬥開始，總罷工轉入了武裝起義，工人武裝糾察隊為先鋒，廣大民眾為後盾，按照預定計劃攻打各警署、兵營和軍隊駐地。租界內的工人亦參加戰鬥。一時間，浦江兩岸，槍炮聲喊殺聲震天動地。徒手工人逐漸奪得了武器，在各路糾察隊的攻擊下，捷報頻傳，鐵路中斷，電話局占領，電報局占領，供電局占領，……敵人被包圍、潰逃，不少敵人用竹竿打著白旗，以示投降。軍警們紛紛脫下製服，換上平民百姓的衣服逃走。
當日下午4時，閘北糾察隊消滅了第五區警察署、廣東街分署、中華新路警察分所和湖州會館的敵人。於是，總指揮部便移到第五區警察署。周恩來根據作戰形勢，將隊伍作了適當調配，在戰術上也作了必要的改變。
晚上，巷戰激烈，據守商務印書館和天通庵東站的敵人，不時反撲，而北站方麵之敵，亦猛烈射擊，英帝國主義鐵甲車也不時偷襲。
激戰通宵進行。時周恩來冒著紛飛炮火，不時地上街指揮。
戰鬥中，羅亦農一直和總指揮部保持聯係，夜間戰鬥激烈時，他和夏之栩來到離前線不遠的聯絡站裏。
經過一天一夜的戰鬥，到了中午，天通庵車站之敵懸旗投降。2萬多人作了俘虜。下午4時，東方圖書館附近之敵大部被擒。
到了下午6時，上海工人在周恩來、趙世炎、羅亦農等領導下，用150杆破舊槍枝，3顆炸彈，血戰30小時，全殲3000直魯聯軍和2000警察。取得了第三次工人武裝起義的勝利，解放了中國的第一個大城市。
白崇禧之人馬兵不血刃地進入上海。
3月23日，區委在湖州會館召開黨的活動分子大會。街麵上慶祝爆竹聲、歡呼聲響徹雲霄。周恩來從工人糾察隊中挑出2700人，用繳獲的武器，編成了大中小分隊，在各區維持秩序。糾察隊成立了總指揮部，指揮部設在東方圖書館。25日，總工會借湖州會館招待新聞界。趙世炎以糾察隊總指揮名義，向報界報告了上海工人三次武裝起義的情況。
整個上海沸騰了，男女老少一齊走上街頭歡慶勝利，上海又回到人民的手中。
接著，上海市民代表大會召開，選舉產生了“上海特別臨時政府委員會”，汪壽華、羅亦農、林鈞等19人為委員，建立了上海市人民政府。白崇禧、鈕永建名字亦在其內，然鈕聲明不參加，白亦表示反對此舉。
時上海市人民政府，實為中共政權了。
3月23日，白崇禧率部進占上海，畢庶澄軍倉皇潰退。其逃抵山東後，因其作戰不力為張宗昌槍斃。
何應欽率部亦於22日占領鎮江，次日推至上塘鎮。何親率第三、第十四師進駐南京。
孫傳芳一敗江西、二敗浙江、三敗安徽、四敗江蘇，其一敗再敗，而魯軍亦接連失敗，直魯聯軍士氣大落，紛紛退至長江以北。