蔣介石在作報告時，以黨國最高領袖口吻，訓斥那些不肯聽他指揮的人，強調要“以黨治國”。７月１８日，他在北平大學第三院發表演說時說道：“……簡單一句話，黨員隻有義務，沒有權利，如果一個黨員，隻講權利，不盡義務，借黨的招牌，橫行一切，你就可以用我蔣介石的話質問他，有沒有黨員的資格”。鋒芒所向，顯而易見。
閻錫山預測蔣馮之間矛盾無法調和，在裁兵問題上肯定要鬧翻。因而，在其他黨國要人紛紛南下去南京參加五中全會時，他於７月３０日卻從石家莊悄然西折，回到太原。電告南京，請假１０日，休養身體。他靜觀石頭城的風雲變幻，以便待機而出，坐收漁利。
蔣介石為策劃政治陰謀，接收京津之後，又收羅了一批北洋軍閥時期的軍人政客，如方本仁、楊永泰、吳俊卿、蔣伯承之流，為他出謀劃策。他從北平返回南京後，每天晚上一定要和他的謀士聚會一次，計議消滅異己勢力的策略和方法。
在一係列的策略中，原政學係的骨幹楊永泰為蔣介石出了“削藩策”的高招。
楊永泰向蔣進言。
蔣介石聽後，微微笑道：“先生的‘削藩’之策，實乃治國安邦之神方妙策。我馬上照計行事。”
８月８日，國民黨二屆五中全會在南京召開。蔣介石在會上提出了取消各地政治分會的建議。政治分會是蔣介石第一次下野期間，李宗仁同汪精衛、譚延闓等寧、漢雙方要人商定的，在南京成立中央特別委員會，在武漢、廣州、太原、開封四地設立政治分會。國民黨二屆四中全會時，規定中央政治會議及各地分會可以繼續存在，候第三次全國代表會決定存舍。原設立的四處政治分會，縮小其職權範圍，專管政治，不管黨務。明確劃分了四個政治分會的指導區域，即：廣州政治分會指導廣東、廣西；武漢政治分會指導湖南、湖北；開封政治分會指導河南、陝西、甘肅；太原政治分會指導山西、綏遠、察哈爾，不屬於以上四個分會的地區歸中央管理。政治分會實際上是各自為政的獨立王國，所以，蔣介石想實行“削藩”策，必須先取消四個政治分會。
不想，蔣介石削藩策的第一招，就被馮玉祥、李濟深搬出兩件法寶駁回：
一、二屆四中全會已經作出決定，地方政治分會應當保留到國民黨第三次全國代表大會召開之時，現在取消，違反四中全會決議；
二、中央決定，各地分區“剿共”，如果取消政治分會，就會削弱“剿共”的力量。
此時，在山西“養病”的閻錫山突然在太原舉行宣誓典禮，就任太原分會主席。本來，閻錫山早已被任命為太原政治分會主席，可他早不就職，晚不就職，偏偏在蔣介石宣布取消政治分會時就職，實際上是給蔣介石一個示威。汪派的粵籍中委，手中沒有兵權，他們提出反對“以軍製黨，以軍幹政”的口號。蔣介石正好利用粵籍中委的情緒，與何應欽聯名，又將在北平商討過的《軍事整理案》在全會上提了出來，得到粵籍中委的支持，提案通過。蔣介石的裁兵計劃列入了國民黨中央的決議。這是蔣介石在這次會議上所取得的主要成果。
但是，蔣介石並未能通過五中全會取消各地政治分會，他的削藩計即告失敗，這使他大失所望，又稱病跑進了上海醫院。各地方實力派受到了蔣介石的《軍事整理案》的威脅，全部產生了對抗情緒。李濟深偕同戴季陶暢遊莫幹山，其他眾委員也多在滬、杭觀山玩水，吃喝嬉耍，以消除心中煩悶。馮玉祥回到河南後，到各地巡視軍隊，又在西北軍五原誓師兩周年這一天重新召開紀念大會，舉行閱兵式與提燈會。馮玉祥還發表紀念宣言，其中稱：
“民眾之痛苦未除，軍閥之根株未絕，不平等條約之取消更不知遠在何日……凡此內憂外患，皆我革命軍人未盡之責……。”
馮玉祥的舉動，是對蔣介石的武裝示威。閻錫山雖然未象馮玉祥那樣大張旗鼓地與蔣介石相對抗，卻不聲不響地在大同整頓他的第三集團軍，訓練部隊，提高作戰能力，準備應付意外的變化。
五中全會後，蔣介石的建立軍事獨裁統治政策，遇到了無法克服的阻礙，他與各地方實力派出現了僵持的政治局麵。於是，蔣介石要尋求打破僵局的途徑。
1928年8月下旬，傳來了胡漢民、孫科將要回國的消息。為僵持的政局而苦惱的蔣介石頓時慌了手腳。他以為胡、孫二人此時回國，一定來者不善。因為他已聽到傳言，胡漢民與汪精衛曾在巴黎會晤，交換過對國內政局的見解。蔣介石恐胡、孫回國的目的，是要乘他政治危機之時，策動兩廣起兵倒蔣。為解燃眉之急，蔣介石隻好去拉攏汪派。他先派宋子文到上海與陳公博聯係，隨後他又親赴陳宅拜訪，想請陳公博找到唐生智的親信劉興，叫他前往河北，從白崇禧手中把唐的舊部搶過來，以削弱兩廣的兵力。蔣又命令嫡係將領劉峙作好軍事準備，防止胡、孫回國後粵桂兵變。蔣介石以為大難臨頭而惶惶不安。
8月28日，胡漢民、孫科一行到達香港。他們既沒有去廣州發動兵變，也沒有發表攻擊蔣介石的言論。胡漢民於29日發表了一席對時局的講話，談了三項內容：一、宣稱中國應當徹底實施“五權憲法”；二、國民黨內部要團結，不要動輒以抨擊左派為名抨擊他人；三、主張撤銷政治分會。胡認為政治分會是適應軍事時期的需要而產生的，是過渡性的。現已進入訓政時期，“當無再存留之必要”。胡並否認外間謠傳，聲言不在廣州停留，數日即將北行。
胡漢民的言行，使蔣介石轉憂為喜。他意識到胡漢民的歸來，非但不會加害於他，反而會幫助他擺脫困境。蔣介石固屬多疑，胡漢民也不是傻瓜笨蛋，明知手無實力，不可能與蔣介石作硬性較量。原來胡漢民此番歐洲考察之後，其收獲是帶回來一個“以柔克剛”之術。以“文墨”來對付“黷武”。利用國民黨內軍事實力派的矛盾，采取先分權，再逐步奪權的辦法。他的“武器”是中山先生的“五權憲法”思想，及他們據此而炮製的五權分立的政府組織法及五權憲法草案。在國民黨統一全國初期，胡漢民提出這一套政治主張，可謂正合時宜。
蔣介石得知胡漢民一行將不日北來，立刻“病愈”出院，盼早日與胡漢民相見。由於胡發表的談話，強調黨的團結，並含有批評蔣派之意，所以非蔣派中央委員也對胡的到來抱有希望，紛紛由各地到達南京、上海，等待對政局重作磋商。僵持的政局出現了鬆動、活躍的氣氛。９月３日，胡漢民、陳銘樞等由香港到達上海。蔣介石特派張群為代表，李濟深派鄧家產為代表，前往碼頭歡迎。胡漢民一時成了政界的中心人物，黨國的達官貴人穿梭般地訪胡及密談。蔣、胡二人更是進行了多次長時間的秘密協商，他們達成了聯合執政的協議。當時在上海的國民黨中央委員，似乎都接受了蔣、胡對政局的新安排。
國民黨的多數中央委員能夠接受胡漢民的主張，其原因是：一、他把國民黨的政治分贓披上了中山思想的外衣，具有不小的迷惑力。因為人人都知道，孫中山先生是五權憲法的創立者，一貫主張“政府有能，人民有權”，人民掌握政權，政府行使治權。而治權的行使，要實行立法、司法、行政、考試、監察五個機關的分立，以防止個人獨裁。這是中山先生把孟德斯鳩的《法意》理論與歐美資產階級國家三權分立憲法的實踐經驗，及中國封建王朝的“科舉製”、“監察禦史製”揉合在一起提出來的政權建設理論。這是對封建專製製度一項根本改革。二、胡漢民擬就的《國民政府組織法草案》規定，在國民黨中央的統轄之下，組成國民政府，總攬治權。由相互平行的行政院、立法院、司法院、考試院、監察院分別執行行政權、立法權、司法權、考試權、監察權。五院互不統屬，都直接對國民黨中央負責。五院各設正、副院長，下設各部、會。國民政府設主席一人，委員十二至十六人，兼任五院正副院長。由國府委員組成國務會議，負責處理國務並調解五院間的關係。由國民政府主席擔任國務會議主席。公布法律，發布命令，要經國務會議議定，由國民政府主席及五院長署名行之。國民政府統轄海陸空軍。國民政府主席的職權有三項：一是代表國民政府接見外使，舉行或參與國際典禮；二是兼任陸海空軍總司令；三是主持國務會議。此外無其他權力。