蔣介石改遷南昌的主張，遭到各界一致反對，武漢的共產黨人、國民黨左派同蔣介石的行徑進行了堅決鬥爭。宋慶齡、徐謙、陳友仁等回電要求“中央黨部及國民政府，照既定策略來鄂”。2月21日，國民黨中央決定國民黨中執委員和國民政府委員中央臨時會議立即結束，中央黨部，國民政府即日在武漢正式辦公。
武漢革命勢力在遷都問題上戰勝了蔣介石，但卻不能阻止蔣介石繼續走向反動。隨著北伐軍事行動的進展，蔣介石憑借自己掌握的軍事力量，相繼在江西、安徽製造了一係列摧殘工農運動、屠殺共產黨員的反革命暴行。1927年1月，他指使張靜江、陳果夫等把持了國民黨江西省黨部和許多縣黨部的大權，並派其爪牙段錫朋等在南昌秘密組織了反革命團體“AB團”，破壞革命團體，槍殺革命幹部和群眾。接著搗毀了贛州總工會，殺害了總工會委員長、共產黨員陳讚賢。又用武力解散和搗毀擁護三大政策的國民黨南昌、九江等市黨部和安徽省黨部和總工會等。
鑒於蔣介石分裂國民黨，實行軍事獨裁和摧殘工農運動的反革命活動愈演愈烈，1927年3月10日至17日，國民黨中央在漢口召開二屆三中全會。全會的中心是提高國民黨黨權，限製蔣介石個人軍事獨裁。會議通過了《統一黨的領導機關案》等決議案，決定“使一切政治軍事外交財政等大權，均集中於黨”。會議決定：黨的代表大會和中央全會閉會期間，由中央常務委員會對黨務、政治軍事行使最終決議權，常委會不設主席。政治委員會、軍事委員會設主席團，國民政府設常委，均不設主席。凡軍長以上的軍官任命和出征動員令，都須經軍委會決議、中央執委會通過後才有效，總司令無權自行決定。上述決議、決定都有削弱蔣介石權力的作用。蔣介石沒有出席這次全會。為了避免分裂，早日完成北伐大業，會議仍選舉蔣介石為中央常委、軍委主席團成員，並讓他繼續擔任國民革命軍總司令職務。
國民黨二屆三中全會的召開，對於限製和打擊蔣介石的反動獨裁有著積極意義。但全會仍選舉蔣介石為國民黨中常委，更重要的是沒有削除其國民革命軍總司令的職務，軍事實權依然掌握在他手中，所以，也就不能從根本上有效地製止他的獨裁和反動。
與此同時，蔣介石正在竭力設法取得帝國主義的諒解和支持。在南昌，他公開向記者發表談話，表示他對帝國主義的“友誼”，要求英美給予“援助”。他又派遣吳鐵城、戴季陶訪問日本，尋求日本對他的支持。1927年3月26日，蔣介石到達上海，迫不急待地要求帝國主義直接予以支持。為此他密令取消“打倒帝國主義”的口號，向帝國主義各國表示：“國民革命軍是列強各國的好朋友，決不用武力來改變租界的現狀。”4月1日，蔣介石命其駐滬專員拜訪英國領事對“南京事件”深表歉意，並保證“決不使其擴大”，願意承擔全部責任。帝國主義在得到蔣介石的保證後，答應可以通過租界為其提供一切反共便利，駐上海的3萬多名外國軍隊可以幫助蔣介石鎮壓革命。同時，蔣介石力爭上海的大資產階級和青幫的支持。4月1日，上海的江浙財團勢力為蔣介石提供300萬元經費；青幫首領黃金榮、杜月笙、張嘯林等則決定建立反動組織“中華共進會”。
在取得帝國主義支持和大資產階級、青幫的許諾後，蔣介石加緊部署政變。從3月底開始，蔣介石同李宗仁、李濟深、吳稚暉、張靜江等人密商。4月2日，由吳、張等以國民黨中央監察委員名義，提出所謂“舉發共產黨謀叛呈文”交國民黨中央執行委員會，誣稱共產黨已決定“鏟除國民黨之步驟”，要求立即“查辦”共產黨。4月8日，蔣介石以總司令名義公布了“戰時戒嚴條例”12條，嚴禁集會、罷工和遊行，對所有新聞報紙實行嚴密的檢查和控製，並限製工會和工人糾察隊的活動。同日，吳稚暉、張靜江等以中央監察委員會的名義發出所謂《護黨救國通電》，攻擊共產黨和武漢國民政府。這些跡象均表明，蔣介石叛變革命的部署已經完成。
由於中共中央和國民黨左派的一再妥協退讓，共產黨人和工人群眾處在毫無防禦的境況中。4月12日，蔣介石在上海向工人群眾發難，大肆屠殺中共黨人和革命群眾。這便是震驚中外的“四一二”反革命政變。
“四一二”反革命政變後，蔣介石在帝國主義和江浙財團勢力的支持下，於4月18日在南京建立了代表大地主大資產階級利益的國民政府，與仍保持國共合作的武漢國民政府相對抗。南京國民政府以胡漢民為主席，蔣介石、吳稚暉、張靜江、鄧澤如等為常委。它對內發布的第一號命令，就是實行“清黨”，列入首批明令通輯的名單就有鮑羅廷、陳獨秀、毛澤東、惲代英等共產黨人和鄧演達、徐謙等國民黨左派共190餘人。