不久，何應欽出任潮汕善後督辦，升任第1軍軍長兼潮梅綏靖委員、軍校潮梅分校校長。
在後來的反共的“中山艦事件”後，又出任黃埔軍校教育長。
國共聯合北伐，何任第一軍軍長，何的一部保廣東根據地，大部分兵力向閩浙攻擊。
北伐軍在湖南初戰告捷，東向長江下遊五省。
此時，福建都督周蔭人傾巢西移，企圖竄犯潮梅。何應欽乘機率部襲擊周總部駐地永定，取得全勝後揮師繞道，兵分5路，在鬆口攻周軍主力，俘敵師長以下4000餘人。
當時，大總統去電嘉勉，電彙銀元2萬犒勞將士，升何為國民革命軍東路總指揮。
後來何應欽所部占福州，進閩北，控製福建全省，何任該省臨時政治會議主席。
何應欽順風順水，不久又乘勝進軍浙江，攻克杭州，打入南京。
何應欽最大的建樹在於反共，因為反共，所以他被大總統視為左膀右臂。
何極力支持反共政策，曾在南京直接調兵解除了林祖涵所率的第六軍三個主力團武裝，包圍江蘇省黨部和省總工會，逮捕了部分革命者。何又令軍警強行解散南京共黨支部，逮捕全體共黨幹部。
何的東路軍在上海對工人糾察隊進行突襲，大規模捕殺了共黨，這就是震動全國的“四一二”慘案。
後來，武漢國民政府主席汪精衛於通電反共反大總統。
以李宗仁、白崇禧為首的桂係、馮玉祥為首的西北軍和閻錫山為首的晉係與蔣有矛盾，公開逼大總統下野。
何應欽此時判斷失誤，以為大總統樹敵太多，四麵楚歌，必敗無疑。於是暗中支持桂係逼宮。這樣，大總統隻好下野。
當白崇禧在會上要大總統離職時，大總統回身看向何應欽，以為他能幫自己說句話。可是，何應欽一聲不吭，把臉扭到一邊，裝作不認識大總統的樣子。大總統當時就心靈受傷了，氣得拂袖而去。大總統自認為待何不薄，沒想到何應欽會這麼對待自己。
當時，隻要何應欽一句話，大總統是可以不走的。
這是大總統和何應欽隻見的第一次矛盾。
大總統下野後，由何、李、白組成軍事常務委員會，對國民革命軍實行集體領導。
大總統灰溜溜地回到了上海。
不久，國民第二屆四中全會預會通過決議大總統官複原職了。
大總統複職後的第一件事就是找茬撤消了何應欽的本職工作和兼職工作。
大總統手腕強橫，將軍隊編為四個集團軍，自任總司令。
何應欽腸子都悔青了。卑躬屈膝托人拉線，找大總統說情。
在他無奈之下，又委任何應欽為北伐軍總司令部參謀長。
在國民三次全國代表會議上，何應欽被選為中央執行委員會委員，中央政治局委員會委員，陸海空三軍總司令部參謀長。後來，何應欽又出任開封、鄭州、武漢行營主任。他主持軍隊工作時，利用編遣、整軍之法，忠心地為大總統兼並異己，擴充嫡係，馬不停蹄，南征北伐。力圖讓大總統看到自己已經悔過自新，重新做人。
此時正逢大總統和馮玉祥和閻錫山在中原大戰，何應欽不辭辛勞，不懼危險，一直在前線督軍。其父在老家病逝，何應欽都沒回去奔喪。
大總統深為感動，親往設在南京的何父靈堂吊喪，並親筆書寫了致喪辭。
大總統此舉，使得何應欽也深受感動。
後來，何應欽任國民政府軍政部長，再後來任剿共軍前線總指揮，參與對中央蘇區的一、二、四次軍事“圍剿”。
李宗仁攻長江，何應欽坐鎮武漢指揮，將李宗仁所部擊退。
不得不說，何應欽家的祖墳冒了青煙。
不久，何應欽出任南昌行營主任，任國民黨中央政治會議特別事務委員會委員。指揮部隊對湘贛地區共黨及其武裝力量進行第二次圍剿。
但隻是，紅軍太猛了，打垮了他的十幾個師。