晚清的軍隊建設一直是極為敏感的問題，在剿滅太平軍和撚軍後，那些由原湘淮舊軍改編的防軍、練軍在日軍及八國聯軍的連續打擊下，其表現極為拙劣，幾乎可以用“潰不成軍”來形容。甲午年後，為了挽救王朝的命運，按西法編練新軍也就成了清廷的當務之急。
1894年年底，清廷委派原廣西按察使胡燏棻在天津馬廠一帶開始募兵訓練。最初，這支小部隊僅3個營，但麻雀雖小，五髒俱全，各兵種如步兵、騎兵、炮兵和工兵都齊了。由於效果看上去還不錯，於是清廷下令擴大規模。次年，胡燏棻將部隊移駐距天津東南70裏處的新農鎮，也就是後來著名的小站（練兵）。小站原是淮係周盛傳、周盛波所統領盛軍的練兵場，在消滅撚軍後，盛軍在此駐紮了二十多年。後來甲午戰爭爆發，盛軍開赴前敵，因為平壤之戰時盛軍繼任統帥衛汝貴臨戰潰逃而被處斬，盛軍亦由此全部潰散。在此，胡燏棻編就了新軍10營，包括步兵3000人，炮隊1000人，馬隊250人，工程隊500人，共計4750人，號稱定武軍。
定武軍在編製、訓練、戰術、武器等方麵完全摒棄了以往練軍和湘淮舊軍的習慣，而是“全盤西化”，完全按照西法操練，其中又以德國陸軍為樣板並聘請了一些德國軍官擔任教習。就當時而言，定武軍是一支全新的部隊，它不僅武器裝備新，陣法訓練也全是按照德國操典進行。一年後，這支新軍尚未煥發出它的全部生機時，其開創者胡燏棻被調任津盧鐵路督辦，接替者便是大家所熟悉的——袁世凱。
袁世凱出身官宦世家，他年輕時兩次參加科考但均告落第，後來便放棄功名，投靠了嗣父袁保慶的拜把兄弟吳長慶。吳長慶當時統率慶軍六營駐防登州並督辦山東防務，袁世凱去後便在慶軍營務處任會辦一差。1882年8月，朝鮮局勢動蕩，清廷派慶軍入朝鮮彈壓，袁世凱由此在朝鮮幫辦軍務時嶄露頭角，因整頓軍紀和鎮壓兵變有功，為朝鮮國王所看重，同時還獲得清廷獎敘五品同知銜。在朝鮮期間，袁世凱充分展示了其軍事才能，他曾幫朝鮮訓練了一支五千人的德式新軍，令朝鮮上下大為折服。
袁世凱在這些事件中的出色表現，給李鴻章等朝廷大員留下了深刻的印象。後來，袁世凱便被清廷任命為“駐紮朝鮮總理交涉通商事宜”的全權代表，一舉成為清廷在朝鮮的“監國”大員，時年袁世凱不過26歲，可謂年少得誌。不過，在朝十餘年後，甲午戰爭爆發，半島局勢風雲變幻，袁世凱見勢不妙，最終設法找了個機會落荒而逃，回到天津。
回國後，袁世凱先是被派往前線督辦後勤，後因戰敗無功而返。甲午年後，袁世凱也再三呼籲編練新軍，但一直苦於沒有機會。直到編練定武軍的胡燏棻被調去督辦津蘆鐵路，袁世凱一看機會來了，他趕緊上上下下活動了一番，後來也就得以接替胡燏棻前往小站練兵，而這也是老袁真正意義上的發跡之始。
1895年12月，袁世凱到小站正式接管了定武軍，隨後又在山東、河南等地招來了2千餘名淳樸強健的農家子弟補充入營。在將原兵額招足至7300人後，定武軍被改名為新建陸軍，這也就是後來北洋軍的最初淵源。為將新建陸軍建成一支模範軍，袁世凱也的確是花了不少心思，其用重金聘請了包括退役軍官沙爾在內的十幾位德國教習，並從國外進口了統一的新式步槍、馬槍和快炮，其中大都為德製或奧製的標準化槍械。
袁世凱治軍嚴厲，管理極嚴，他本人在軍營中也是以身作則，日則督操，夜則巡營，從不懈怠。有一晚袁世凱巡營，偶然發現一士兵偷食鴉片，袁世凱當場拔出佩刀將其手刃，全營為之震驚。自此，營中再無人敢食鴉片。平時，袁世凱都和普通士兵一樣，著軍服、紮皮帶、穿馬靴、掛佩刀，一副赳赳武夫的樣子。在日常訓練中，袁世凱經常親臨現場觀看操練，某次閱兵時突然下起大雨，其手下軍官要給他打傘，袁堅決不讓，說：“士兵都在雨中，我怎麼就不能淋雨？”建軍之初，袁世凱也刻意製造親善士兵的形象，每次發餉時，他都親自監督營官，把軍餉當場足額發到士兵手中，以杜絕舊軍隊吃空額、克扣軍餉的劣習。不僅如此，袁世凱還經常深入各營接近下級軍官和士兵，甚至連棚頭這樣的小頭目都能叫出名字，這一點很不簡單。