馮玉祥：《我的生活》（上），黑龍江人民出版社，1982年，第11頁。
1896年，年滿15歲的馮玉祥隨父入營當兵。最初，跟著父親在清政府的淮軍裏，1902年脫離淮軍改投袁世凱的武衛右軍第三營左隊，駐紮在天津楊柳青。袁世凱的武衛右軍屬“北洋新建陸軍”，所謂北洋軍閥，便是由這支隊伍起家的。
北洋新建陸軍，是19世紀末，晚清統治者為了維護其封建專製統治，按照西方陸軍軍製，在外國洋員的協助下，由袁世凱負責訓練的一支軍事武裝。從陸軍建製、訓練、戰術、操典到軍器等，基本上是模仿德國，所以被人們稱為新軍。所謂新軍，究竟“新”在什麼地方?它和清朝舊式軍隊有哪些不同?
首先，從裝備訓練上看，新軍主習洋槍洋操。“一切操練章程，均按西法辦理，”甚至“一切行軍應用器具，都按照西法購備。”
《光緒朝東華錄》第九冊，第22頁。
新軍擁有步、騎、炮、工程、輜重等各兵種，它與單純使用刀矛弓箭為主要武器的八旗、綠營等舊式軍隊截然不同。
19世紀末，湘、淮各軍雖也進行了一些西式訓練，配備了新式武器，但終究和新軍是不能比擬的。
其次，對士兵的入伍條件，新軍有較嚴格的限製，參照西方資本主義國家的征兵條件，對入伍年齡、體格及識字程度上均有規定：年齡一般要求從16歲到20歲，身高在4尺8寸以上，凡五官不全，體質較弱，手舉不及百斤者不收。來曆必須土著。凡吸食鴉片或犯有事案者以及“城市油滑而充營勇者”，一概不收。
再次，新軍各級軍官，一般要求從軍事學校出身，具有現代軍事知識的人充任。為了培養各級軍事人才，清政府除了在各省省會及大中城市設立軍事學堂外，軍中還設有各級隨營學堂。規定選派各級軍官，要盡量先委派曾習武備，進過軍事學堂及具有一定軍事知識的人；對舊有軍官進行甄別，以粗通文字、虛心問學者為合格。遇有官升出缺，仍先從學堂畢業之員選充。一概不許在學堂、新軍之外，隨意任用。
又次，在對士兵進行封建思想教育的同時，又進行全新的技術訓練，即軍事訓練，稱之為練兵，就是“精其技藝”。為此，清政府曾將舊時編纂的《西法類編》和北洋陸軍所刊《德國陸軍操典入門》等書，分發給各營。書內分兵法、軍器、測繪、數學諸門。此外，如世界地圖、亞洲東部地圖、沿海口岸全圖等，也“一體購印頒發，不時翻閱”，以促進官兵素質的提高。
新軍是模仿西洋軍事編製和軍事技術建立的武裝力量，清政府本想依靠這樣一支新式軍隊，振衰封弊，挽救危亡。但曆史的發展卻往往和統治者的初衷相反，清政府所建立的新軍除袁世凱掌握的一部分死黨抗拒清末的反清革命外，其餘多數新軍均在後來反清運動中成為革命黨人爭取的對象。
中國古代曆來有尚武傳統，尤其農家子弟，多以習武為榮。這樣一支新式軍隊，自然也就能夠吸引諸多像馮玉祥這樣的有誌青年。來到新建陸軍後，馮玉祥更加勤苦讀書、操練了。他每天利用閑暇時間埋頭看書寫字，並專心鑽研軍事操演中的各種科目。1902年底，保定府籌劃擴編20營新軍，從武衛右軍中挑選軍官，當時每連6棚，每棚12人，馮玉祥是從連裏72個正兵中挑選出的一個副目(相當於班副)。他當了副目後，很能體貼士兵，深受士兵愛戴。
正目齊大麻子十分欣賞馮玉祥，便向上司保薦，馮便先後擔任哨(排)、隊(連)的教習，專門負責喊操。
這時袁世凱正利用清政府提出在全國擴編新軍36鎮的龐大計劃，逐步培植個人勢力，終將集軍、政大權於一身。他擬定了一套《陸軍營製章程》，包括主軍、督練、設官、募兵、軍令、訓練、校閱、獎懲、恤賞、薪餉、營令、軍器等規定。通過這些措施，新軍由最初的不足l萬人，增長到近10萬人，成為清王朝的一支勁旅。隨著新軍不斷擴充，馮玉祥在軍隊中的地位也逐步由副目、正目升為哨長，後經多次考試選拔，他均名列前茅，旋任隊官(連長)、管帶(營長)等職。在短短的5年之內，馮玉祥由一個士兵，升任北洋新軍的中級軍官，升遷速度之快，是前所未有的。這不僅與馮玉祥在軍中勤勉自勵分不開，也可以看出新軍兵製在許多方麵的確優於舊式八旗、綠營，尚能促進人才的脫穎而出。
馮玉祥所在部隊的協統(旅長)陸建章對他很器重。陸建章，安徽蒙城人，因畢業於天津北洋武備學堂，加入北洋陸軍後，很得袁世凱賞識，1905年起任北洋陸軍第四鎮第七協協統。因陸欣賞馮玉祥，便有意將他撫養長大的內侄女劉德貞許配給馮。馮玉祥認為自己地位低下、薪水微薄，遂婉言謝絕。後在眾人的大力促成下，方與劉德貞成婚。馮玉祥也因此成為陸的內侄女婿，此後得到陸的提拔和幫助。