蔣介石辭職後，身邊僅帶12名衛士返回浙江奉化老家。但他並不甘於沉寂，通過張群等人的幫助，獲得了日本首相田中義一和陸軍大臣向川義則等政府政要的政治支持和巨額經濟援助。同時和宋氏家族結成“政治聯姻”，這是決定他以後政治生涯的重大抉擇。（當蔣介石與宋美齡結婚時，李宗仁是國民政府全體中央委員中唯一一個未送結婚賀禮之人。）
1928年初，趁廣州事變及“桂係排汪”造成的影響，蔣介石得以複出。鑒於當時形勢，原來的不少國民黨人紛紛主張蔣介石“複職”，收拾國民黨內部的混亂局麵；北方的馮玉祥和閻錫山想對張作霖作戰，也主張蔣複職；何應欽則要蔣出來“主持軍事”。蔣介石掃除了一切障礙，於1928年1月4日從上海抵達南京“主持大計”，1月9日正式通電就“國民革命軍總司令”職，接著又擔任了軍事委員會主席、國民黨中央政治會議主席等最高職務，可謂權傾一時。從他下野到重掌大權僅116天；而新桂係軍隊被迫撤出南京、江南等要害富庶之地，發展受到挫折。
1928年1月蔣介石重新上台後，任命李宗仁為中央陸軍軍官學校校務委員會委員、國民黨中央政治會議武漢分會主席和第四集團軍總司令，參加其舉行的第二期北伐。但蔣對李白逼宮之事，一直耿耿於懷，尋隙報複，東山再起後，就首先把矛頭對準了桂係，瓦解其軍事力量，以後蔣桂之間爭鬥不斷。1929年3月，蔣桂戰爭爆發，桂係戰敗，逃回廣西。蔣介石以“叛亂黨國”的罪名，開除了李宗仁黨籍，免除本兼各職。1929年秋，李宗仁返回廣西南寧，組建護黨救國軍，自任總司令，白崇禧為前敵總指揮，下轄第三、八兩路軍，此後長期盤踞廣西，與蔣介石對抗，伺機發展勢力以求東山再起。1930年馮玉祥、閻錫山聯合反蔣，57名將軍和81名著名人士在太原通電全國，要求蔣介石下野，桂係趁機加入反蔣聯合陣線。李宗仁被推為中華民國陸軍副總司令（總司令閻錫山）兼第一方麵軍總司令，由廣西進軍湖南，支援閻錫山、馮玉祥在中原同蔣介石作戰。但後來因為張學良率奉軍入關助蔣，聲勢浩大的反蔣聯盟失敗；新桂係、馮玉祥、閻錫山三大派別在中原大戰中都被蔣中正擊敗。
蔣介石為鞏固政權，請回國民黨元老胡漢民出任立法院院長，但是，這個曾主持南京國民政府並擔任過中央政治會議主席的元老級人物，在蔣介石心目中不過是一個可利用的“擺設”而已。胡漢民不滿蔣介石擅權，於1931年2月28日被蔣介石扣押，並軟禁在南京湯山。此事在朝野引起軒然大波，導致了國民黨內的又一次大分裂。1931年4月31日，經胡漢民授意，國民政府文官長古應芬等聯合各反蔣派係發表了《彈劾蔣中正提案》，曆數蔣的罪狀，要求撤職查辦，得到桂係李宗仁、白崇禧和粵係軍閥代表、第八集團軍總司令陳濟棠等人的擁護。5月27日，汪精衛、孫科等在廣州另立國民政府，指責南京之“黨部為個人勢力所劫持，實無存在之價值”，推舉汪精衛為首任國民政府主席，又在燕塘閱兵。一時劍拔弩張，戰爭一觸即發。
各派勢力的“逼宮”使蔣介石焦頭爛額，“九一八”事變的發生則直接導致了他的下台。“九一八”事變發生後，由於蔣介石奉行“不抵抗”政策，卻加緊圍剿紅軍，激起全民義憤，遂掀起了抗日反蔣高潮。1931年9月20日，國民黨中寧方以國民黨中央名義致非常委員會，表示讚同和平，提出以釋放胡漢民為議和條件，要求蔣介石下野。11月18日粵方四全大會召開，主持人胡漢民發表了宣言，提出了十項政治主張，中心內容是要求蔣介石下野。12月15日，內外交困的蔣介石在各方壓力下發表了《蔣主席辭職電》，宣布下野，辭去國民政府主席、行政院院長及陸海空總司令等職。
為減少今後複出時的障礙，蔣介石在辭職當日首先召開國務會議，一舉改組了四個省政府，任命顧祝同等為幾個省政府的主席。而財政部部長宋子文也帶領所有工作人員集體辭職，並帶走了所有賬本。這就為蔣的再起埋下了伏筆。
蔣介石再次返回故鄉奉化溪口，但並未賦閑，而是密切關注著局勢的發展。
國民黨內部各派係爭權奪利愈演愈烈。湖北省政府主席何成濬發起“九省聯防”，率先公開支持蔣介石，希望借此同胡漢民在廣州成立的“中央黨部西南執行部”和“西南政務委員會”相對抗；陳濟棠又倡議“西南五省大團結”；張學良、閻錫山、馮玉祥等也在籌劃“北方六省大聯合”。國民黨可謂四分五裂。麵對這種形勢，蔣介石感慨道：“哲生（孫科）庸暗，季新（汪精衛）狡猾，當此危局，餘苟不力為支持，天下事尚可問乎？”