武漢國民政府發表聲明，罷免蔣介石的總指揮，但蔣根本不理這一套，毅然把南京作為與之抗衡的首都。結果，武漢政府中的國民黨左翼很快就動搖了。分裂已經開始，尤其是在共產黨的南昌起義以後，武漢政府把共產黨人從他們的權力範圍內趕出去。國民黨的右翼獲得了勝利，蔣介石成為政治領導人。他開始了又一次北伐，1928年7月8日，他進入北京。在一片奪得政權的喜悅慶典中，蔣介石向孫中山的亡靈報告說，他統一中國的夢想得以實現。
經過17年的無政府狀態和無休止的混戰，和平與一定程度上的穩定又恢複了。蔣介石政府在南京從其接受政府管理的第一天起，就麵臨著一係列嚴峻的問題。
江西蘇維埃和長征（1928～1936）
在與國民黨的聯合悲慘、壯烈地結束後，共產黨於1927年4月轉入地下。黨分成了兩個聯盟體：上海黨的領導把北伐軍中的左翼將士組織成“紅軍”，並借助於他們的幫助，在南部許多大城市舉行起義。起義一次接一次的以失敗而告終，而且每次失敗後都有共產黨領導人被砍頭。黨被鮮血染紅。在1927到1937年間，估計有一百萬中國共產黨黨員和它的追隨者們喪生。毛這位主張把重點放到農民運動上的共產黨人，早在1927年3月就給中央領導寫了一份有關湖南農民運動的報告。43他在這份報告中證明說，中國革命隻有以占人口80%的農民為基礎，才有可能取得勝利；農民有4億，而工人隻有300萬。可是，黨的領導人卻以毛的策略與馬列主義理論不一致，而駁回了他的建議。並且強調說，農民的本質屬於小市民、保守，他們隻對自己那一小片土地感興趣；他們缺乏無產階級的本質。農民隻能作為聯盟的對象，而不能承擔社會主義革命的主要任務。
毛不理會莫斯科和上海黨的領導人所確定的路線，與幾個共產黨領導人一起依然走著自己的路，繼續發動農民。1927年8月，毛按照黨的指示在湖南的省府長沙領導了一次起義。帶著500名起義幸存者，他們轉移到位於湖南和江西省交界處的井崗山，在那裏，與兩個秘密農民組織一起共同建立了一個“革命根據地”。此後，南昌起義的幸存者也輾轉投奔到他這裏來，其中包括後來中共的著名將軍朱德、陳毅和林彪。1928年7月，廣州起義（1927年12月11～13日）的幸存者也先後投奔毛的根據地，其中還有後來的著名將軍彭德懷。
很快，井崗山作為根據地就顯得太小了，另外它也經常受到政府軍的侵擾。於是毛把根據地遷往江西省的南部，把瑞金作為江西蘇維埃共和國的臨時中央政府駐地，並於1930年8月在現有軍隊的基礎上，組建了“紅軍”。也像蘇聯軍隊一樣，紅軍實施雙層領導：朱德任總司令，毛澤東任政治委員。到1932年，江西蘇維埃共和國發展到5萬平方公裏的麵積、450萬人口。紅軍當時達到2.5萬人，而且背後有大量的民兵作後盾。
蔣介石對江西根據地發動了多次大規模的進攻，每次毛澤東和朱德都是以重創政府軍而擊退了進攻。他們把政府軍引入山林深處，而遊擊隊就在那裏消滅他們。毛後來有關遊擊戰所寫的文章，屬於20世紀最重要的軍事論述，並且對後來世界上的遊擊戰產生了很大的影響。遊擊戰術之所以獲勝的重要原因之一就是，人民支持紅軍的部隊，而他們“在人民群眾之中就像魚兒在水中”。人民群眾支持遊擊隊，不僅不出賣他們，而且還向他們通報敵軍的動態。政府軍的一位高級將領抱怨說：“我們盲人瞎馬的打仗，可是共產黨的軍隊卻對我們的情況了如指掌。”農民的信任是毛通過紅軍長期、持續不懈的守紀和幫助群眾的行為，以及合時宜的土地改革贏得的。他的土地改革就是解放貧雇農、改善農民生存狀況，而不是通過極端行為把富農和地主搞成十惡不赦的敵人，也避免采取影響農業生產的作法。
1933年初，在上海的局勢發展到實在待不下去的情況下，黨的中央領導們也輾轉投奔毛的瑞金根據地，但是他們同時采取行動，解除了非正統的毛澤東的權力。同年10月，蔣介石對江西蘇維埃發動了第五次大圍剿。他動用了70萬兵力，而且根據德國軍事顧問的建議，政府軍這次采取了堡壘主義的新戰術。他們包圍了江西蘇維埃區，並且修建工事，一步一步地往前推進，一點一點地縮小包圍圈，同時對占領區實施縱橫交錯的防禦策略，這就使紅軍陷入了無望的境地。故此，紅軍決定衝出包圍圈。1934年10月15日，8.5萬名士兵、1.5萬名家屬以及35名高級幹部的夫人開始了長征。絕大部分的婦女和兒童，其中包括毛澤東的兩個孩子，以及傷病員隻得留下。紅軍衝出政府軍的封鎖線，向西撤退，隨後殺向中國南部，然後回身向北，以便奔向遠在北部的共產黨的根據地延安。