晚清的軍隊建設一直是極為敏感的問題,在剿滅太平軍和撚軍後,那些由原湘淮舊軍改編的防軍、練軍在日軍及八國聯軍的連續打擊下,其表現極為拙劣,幾乎可以用“潰不成軍”來形容。甲午年後,為了挽救王朝的命運,按西法編練新軍也就成了清廷的當務之急。
1894年年底,清廷委派原廣西按察使胡燏棻在天津馬廠一帶開始募兵訓練。最初,這支小部隊僅3個營,但麻雀雖小,五髒俱全,各兵種如步兵、騎兵、炮兵和工兵都齊了。由於效果看上去還不錯,於是清廷下令擴大規模。次年,胡燏棻將部隊移駐距天津東南70裏處的新農鎮,也就是後來著名的小站(練兵)。小站原是淮係周盛傳、周盛波所統領盛軍的練兵場,在消滅撚軍後,盛軍在此駐紮了二十多年。後來甲午戰爭爆發,盛軍開赴前敵,因為平壤之戰時盛軍繼任統帥衛汝貴臨戰潰逃而被處斬,盛軍亦由此全部潰散。在此,胡燏棻編就了新軍10營,包括步兵3000人,炮隊1000人,馬隊250人,工程隊500人,共計4750人,號稱定武軍。
定武軍在編製、訓練、戰術、武器等方麵完全摒棄了以往練軍和湘淮舊軍的習慣,而是“全盤西化”,完全按照西法操練,其中又以德國陸軍為樣板並聘請了一些德國軍官擔任教習。就當時而言,定武軍是一支全新的部隊,它不僅武器裝備新,陣法訓練也全是按照德國操典進行。一年後,這支新軍尚未煥發出它的全部生機時,其開創者胡燏棻被調任津盧鐵路督辦,接替者便是大家所熟悉的——袁世凱。
袁世凱出身官宦世家,他年輕時兩次參加科考但均告落第,後來便放棄功名,投靠了嗣父袁保慶的拜把兄弟吳長慶。吳長慶當時統率慶軍六營駐防登州並督辦山東防務,袁世凱去後便在慶軍營務處任會辦一差。1882年8月,朝鮮局勢動蕩,清廷派慶軍入朝鮮彈壓,袁世凱由此在朝鮮幫辦軍務時嶄露頭角,因整頓軍紀和鎮壓兵變有功,為朝鮮國王所看重,同時還獲得清廷獎敘五品同知銜。在朝鮮期間,袁世凱充分展示了其軍事才能,他曾幫朝鮮訓練了一支五千人的德式新軍,令朝鮮上下大為折服。
袁世凱在這些事件中的出色表現,給李鴻章等朝廷大員留下了深刻的印象。後來,袁世凱便被清廷任命為“駐紮朝鮮總理交涉通商事宜”的全權代表,一舉成為清廷在朝鮮的“監國”大員,時年袁世凱不過26歲,可謂年少得誌。不過,在朝十餘年後,甲午戰爭爆發,半島局勢風雲變幻,袁世凱見勢不妙,最終設法找了個機會落荒而逃,回到天津。
回國後,袁世凱先是被派往前線督辦後勤,後因戰敗無功而返。甲午年後,袁世凱也再三呼籲編練新軍,但一直苦於沒有機會。直到編練定武軍的胡燏棻被調去督辦津蘆鐵路,袁世凱一看機會來了,他趕緊上上下下活動了一番,後來也就得以接替胡燏棻前往小站練兵,而這也是老袁真正意義上的發跡之始。
1895年12月,袁世凱到小站正式接管了定武軍,隨後又在山東、河南等地招來了2千餘名淳樸強健的農家子弟補充入營。在將原兵額招足至7300人後,定武軍被改名為新建陸軍,這也就是後來北洋軍的最初淵源。為將新建陸軍建成一支模範軍,袁世凱也的確是花了不少心思,其用重金聘請了包括退役軍官沙爾在內的十幾位德國教習,並從國外進口了統一的新式步槍、馬槍和快炮,其中大都為德製或奧製的標準化槍械。
袁世凱治軍嚴厲,管理極嚴,他本人在軍營中也是以身作則,日則督操,夜則巡營,從不懈怠。有一晚袁世凱巡營,偶然發現一士兵偷食鴉片,袁世凱當場拔出佩刀將其手刃,全營為之震驚。自此,營中再無人敢食鴉片。平時,袁世凱都和普通士兵一樣,著軍服、紮皮帶、穿馬靴、掛佩刀,一副赳赳武夫的樣子。在日常訓練中,袁世凱經常親臨現場觀看操練,某次閱兵時突然下起大雨,其手下軍官要給他打傘,袁堅決不讓,說:“士兵都在雨中,我怎麼就不能淋雨?”建軍之初,袁世凱也刻意製造親善士兵的形象,每次發餉時,他都親自監督營官,把軍餉當場足額發到士兵手中,以杜絕舊軍隊吃空額、克扣軍餉的劣習。不僅如此,袁世凱還經常深入各營接近下級軍官和士兵,甚至連棚頭這樣的小頭目都能叫出名字,這一點很不簡單。