12月22日，國民黨四屆一中全會決定孫科任行政院院長，林森為國民政府主席。按照會議通過的《中央政製改革案》，行政院長相當於責任內閣的國務總理。胡漢民、汪精衛、蔣介石等9人任國民黨中央執行委員會常務委員，胡、汪、蔣為中央政治會議常務委員。
胡漢民雖然取消了廣州的中央黨部與政府，但另設了中央委員會西南執行部、西南政務委員會、軍事委員會，以保留地方實權。
孫科任職時間不長，因財政危機改由汪精衛出任行政院長。緊接著淞滬戰事爆發，蔣介石得以出任軍事委員會委員長。胡漢民雖是中執委常委、中政會常委，但寓居香港，不到南京就職。由此形成了汪精衛主政、蔣介石主軍的局麵。
蔣介石在日記裏曾罵胡漢民是:“無人心至此”及“小人難養”，“與鳥獸不可同群”，據說這是蔣介石罵最痛恨的人才使用的語言。而胡漢民也公開說，蔣介石禍國殃民，應“自殺以謝天下”。
因胡漢民未參加南京政府，日本企圖利用他的聲望拉攏他建立偽政府，以達到以華製華的目的。侵華特務大頭目土肥原賢二親自到香港造訪胡漢民，表示胡漢民肯出來做事，替日本效勞，日本將給予實際的援助，遭胡漢民斷然拒絕:“本人與蔣先生之意見不同，實係本國之內政問題，不容他國幹涉。如謂本人欲組織政府，尤無此意。”日本不死心，又派侵略軍大將鬆井石根去見胡漢民，再次誘使胡漢民組織偽政府，結果是又碰了釘子。
國民黨的四屆五中全會針對胡漢民及其影響下的西南勢力提出:“中央與地方徹底樹立互信之基礎，推誠互掖，同循政治正規，實為達到和平統一之唯一途徑。”此時的孫科已經站在蔣介石方麵，他與王寵惠帶了蔣、汪等國民黨中常委致胡漢民的信到香港，轉達南京方麵的盛情，希望胡漢民去南京幫忙，但胡認為，雙方的爭論涉及國家與民族的存亡與三民主義政策的實行，這些是原則問題，而非個人之間的情感問題，因而拒絕到南京去。
胡漢民在香港的日子並不安穩，在經濟上他受陳濟棠的接濟，但陳隻是利用胡漢民這塊牌子，更好地保住自己在廣東的統治和“南天王”的地位，對胡漢民的各項政治主張並不感興趣，有時還設障礙。1935年，他們之間的矛盾加深，蔣介石乘機向胡漢民表示友好，再次希望胡到南京參加政府。蔣介石之所以一再有此表示，因為蔣、汪、胡是國民政府的三駕馬車，少了一駕終究少一份力量，在輿論上也講不過去。在此情況下，胡漢民的好友鄒魯認為，隨著國內形勢的變化，與蔣介石合作也有可能，建議胡漢民以養病為由暫時出國，以觀形勢發展，胡同意了。7月份，他離開香港到歐洲去。