1935年12月，胡漢民回國時，正是蔣介石在國民黨五屆一中全會上大唱“團結統一”的調子之時，這句話就包含胡漢民影響下的兩廣，為此在這次大會上還增設了中央執委常務委員會主席，由胡漢民擔任，蔣介石為副，蔣還以他個人名義寫了封親筆信派魏道明到新加坡迎接時交給胡漢民，接著又派葉楚傖去香港迎接。胡漢民在香港的歡迎會上講話時說:“政府應改造為有能力的政府，力矯過去畏葸苟安之錯誤，以負荷解國難建設國家之重任。”接著，他又去了廣州。
而令人難以預料的是，半年後，1936年5月12日，胡漢民因腦溢血在廣州病逝，臨終遺囑如下:
餘以久病之軀，養屙海外，迭承五全大會敦促，力疾言還。方期努力奮鬥，共紓國難。詎料歸國以來，外力日見伸張，抵抗仍無實際，事與願違，憂憤之餘，病益增劇，勢將不起。自追隨總理，從事革命三十餘年，確信三民主義為唯一救國主義，而熟察目前形勢，非抗日不能實現民族主義;非推翻獨裁政治，不能實現民權主義;非肅清共匪，不能實現民生主義。尤盼吾黨忠實同誌，切實奉行總理遺教，以完成本黨救國之使命。切囑。”
胡漢民去世後，國民黨中執委西南執行部，國民政府西南委員會，舉行了隆重的追悼大會。後將胡漢民安葬於廣州市郊龍眼洞師山山腰。1985年，廣東省人民政府曾撥款73000元修葺。
胡漢民去世，為蔣介石解決兩廣半獨立狀態提供了契機，蔣借胡去世要挾兩廣服從中央。陳濟棠不服，起兵反蔣。蔣收買了陳的主力，粵軍第一軍軍長餘漢謀，並使廣東空軍40架飛機投奔南京，將兩廣事變平息，解除了其多年的心腹之患。
作為孫中山的長期追隨者與秘書，胡漢民從1927年起著手搜集資料，編纂了《總理全集》，1930年完成後由民智書局出版。
胡漢民除了大量的理論著作之外，還著有《不匱室詩抄》八卷，《遊歐詩草》一卷，被譽為詩人革命家。
戴季陶在胡漢民去世時寫的一副挽聯或許可作為對其一生的總結:
立大節而不可搖，定群疑而不可惑，操危慮深，共仰良工心獨苦;
尊德性則為明師，道向學則為益友，生離死別，愴懷今我淚偏多。
胡漢民、張靜江、戴季陶、居正四人被稱為國民黨四大元老。他們早年加入同盟會，追隨孫中山參加辛亥革命，在國民黨內資深望重。張靜江，浙江吳興人，曾任國民黨中央執行委員會常務委員會主席，浙江省主席。戴季陶，四川廣漢人，曾任孫中山秘書，國民黨中央宣傳部部長，黃埔軍校政治部主任，考試院院長。居正，湖北廣濟人，曾任孫中山大總統辦公室谘詢，為“西山會議派”領袖之一，後任立法院副院長、院長。對這四位元老，有人評論說，胡漢民是“追隨總理最久，輔助總理最力，而為總理所最信任、最倚重的革命先進。自同盟會以來，曆次革命運動，無論軍事、政治、黨務都助總理運籌策劃，或指揮進行”。可以毫不誇張地說:胡漢民堪稱國民黨四大元老之首。