全校各級領導和指揮職務，均由共產黨人擔任：共產黨員史可軒被委任為校長，副校長兼教務主任李林也是共產黨員，鄧希賢(鄧小平)擔任政治部主任。共產黨員高克林擔任組織科長，並負責領導軍校中共黨的總支工作。學員總隊長，由共產黨人許權中擔任，主持日常操練。學員三個大隊長均為共產黨人，李子洲、劉誌丹等人擔任軍事教官。
這種情況，包括南北方眾多的軍官學校中，在全校的各級軍事、政治及教育大權，自上而下地掌握在共產黨人手中，是絕無僅有的。
1927年3月31日，中山軍事學校舉行開學典禮。國民軍聯軍駐陝總司令於右任、副總司令鄧寶珊等人及社會各界人士參加了典禮大會。
出席開學典禮的來賓中，有一位被周恩來讚譽為“生的偉大、死的偉大、正氣磅礴、業可千秋”的“堅貞的革命戰士，魯迅式的共產黨員”杜斌丞先生，在開學典禮大會上發表了熱情洋溢的講演，鼓勵青年們在偉大的革命洪流中，積極努力，奮勇前進。並號召以往革命的和未來革命的人，都要參加到這一革命運動的行列中來。杜斌丞此前得知馮玉祥正在籌建中山軍事學校時，帶領陝北60多名青年學生來到西安入學，成為中山軍事學校的首批學員。
西安中山軍事學校是按照蘇聯軍官學校的模式創辦的，同時校內聘請了一批蘇聯軍事顧問協助辦學。因而學校建製、教學內容、教學方法都與蘇聯軍事院校相同。這些方麵和黃埔軍校具有同種色彩，所以中山軍事學校有“第二黃埔”或“西北黃埔”之稱。中山軍事學校共有學員500多人，全部為陝甘等地的熱血青年。他們熱情高漲，愛國意誌堅強，而且具有一定的文化知識，經過中山軍事學校的訓練，很快便成為國民軍中的骨幹力量。據當時軍校學員龐齊回憶，軍校十分注重學員的政治教育，並要求從一點一滴做起，身體力行地執行國民軍反帝愛國的革命傳統。
“穿上軍衣的第一天，隊長、班長們分別教我們新生縫綴軍衣上的幾個標識：除領章代表兵種外，當時隻分步、騎、炮、工、輜，分別以紅、黃、藍、白、深紫色作識別，胸章(寫番號，姓名。軍官則於胸章上另有分別軍銜的標記)，在左襟右上方第三鈕扣處，綴上一個約3寸的白布紅邊的標識，上印有‘我們為取消一切不平等條約誓師奮鬥’16個醒目的紅字。另外又有兩個很小的(約小姆指大小)布條，一條印有‘一彈當作全軍團體性命看’，一條印有‘我們是民眾的武力’字樣。”
龐齊還記得：“穿上軍裝後，學習的第一支歌是國際歌，接著是學西北軍傳統的《早起歌》和《吃飯歌》，這兩支歌，每天起床就寢以及兩餐飯前必須歌唱……這兩支新歌詞，革命氣氛都十分濃厚。
《早起歌》：黑夜過去天破曉，朝日上升人起早。革命旗幟飛揚，看青天白日，滿地紅照耀。黑夜過去天破曉，朝日上升人起早。努力奮鬥，精神踴躍，解放世界民眾。努力奮鬥，精神踴躍，革命快成功了。
《吃飯歌》：這些飲食，人民供給，我們應該，為民努力；帝國主義，國民之敵，救國救民，吾輩天職。”
龐齊：《1927年馮玉祥在陝西》，《馮玉祥在陝西》，第178頁。
中山軍事學校的政治教育除了用通俗易懂簡單活潑的形式外，課程中均有聯俄、聯共、扶助農工的內容，再加上許多中共黨人做教官，講授中程度不同地向學員傳授馬克思主義的理論、學說，促使一些學員在這裏開始接受馬克思主義教育。
中山軍校的軍事科目包括：兵種教育、簡明軍律、軍人新教育、軍士戰術、軍士勤務、以及各種術科，如刺槍、劈刀、器械體操、應用體操、溝壘比賽、射擊、行軍、挖掘等等。《馮玉祥自傳》，第21頁。
學員畢業前夕，均要下連隊實習，即派到各部隊當三個月學兵，然後根據各自條件和軍事發展的需要，派往基層任職。
中山軍校成立後，得到社會各界的巨大支持，成為國民軍培養大批軍政人才的重要基地，並且在該校成立前後，在北方馮玉祥所轄地區形成了一個“軍校網”。
國民軍在西北地區重新崛起後，隨著固甘援陝戰役及東進中原的準備，國民軍聯軍對軍政人員的需求便顯得十分迫切。為了解決軍政人員的不足，在中山軍事學校建成後的一段時間內，馮玉祥要求所屬部隊在五原、包頭、寧夏、蘭州、西安等地，成立了許多軍政幹部學校，從而形成了以中山軍校為中心，各新式兵種與各門類業務齊全的“軍校群”體係。各軍政幹部學校招收國民軍下級軍官、進步青年學生和有文化的士兵，通過短期訓練，輸送給部隊充當骨幹，為迅速培訓各種人才提供了良好的場所。
同時，在國共兩黨和蘇聯顧問團的組織和幫助下，馮玉祥為了盡快提高新建兵種及各行業務幹部的軍政素質，相繼成立了軍官教導團、炮兵教導團、交通教導團、鋼甲教導團，又增設航空司令部(共有飛機19架)，作為訓練機關。還舉辦了軍械、軍需、軍醫等16所訓練學校，共接收和培訓青年軍官和進步學生8000多人。