段祺瑞在宿遷清軍兵營中做了一個小"戈什哈"，即勤務兵。兩年後，1881年，17歲的段祺瑞徒步2000餘裏來到山東境內，投靠在威海衛駐軍中任管帶的族叔段從德，充職哨書。
段祺瑞的父親叫段從文，是粗識文字的農民。段祺瑞幼年曾讀私塾，因家道貧寒，漸漸念不起了，又不能長久在家待下去，他的父親便親自送段祺瑞到天津投軍，入武備學堂。段父回鄉時，囊中有幾十兩銀子，便買點生絲和布，預備為兒子以後成親用。行到合肥西郊七裏塘，天已昏黑，被同行兩販殺害，把他囊中所有物品搶去。後來段祺瑞母親牽次子段祺甫報案緝凶，終於將案犯查獲，這是清朝末年的事。
禍不單行，段祺瑞父親的墳上尚還沒有長滿野草，段母也因憂傷過度而撒手西去。段祺瑞趕回老家，長歌當哭，安排了母親的後事和弟妹的生活，然後重返威海衛軍營。從此，他顯得格外冷峻、剛毅，一副少年老成的模樣。
2.
被李鴻章看中
1885年，北洋大臣李鴻章創辦了北洋武備學堂。北洋武備學堂，又稱天津武備學堂，是中國近代史上創辦最早的一所陸軍軍事學校。李鴻章對它十分重視，經常親自去學堂視事。
這一天，北洋大臣李鴻章又前去武備學堂，學堂專門為他進行以馬、步、炮、工程兵綜合操練。上午進行的馬科、步兵科的演練十分順利，李鴻章也比較滿意。下午進行的是炮科實彈演練，但是，天公不作美，下起了雨，海麵上風力達到四級，海上活動靶隨著濁浪時隱時現，演練難度增強了好幾倍，要在平時，遇上這樣的天氣，演練就取消了，然而李鴻章已經在山頂上臨時搭起的觀操棚內就座。學員們憚於天氣惡劣，嘀咕著要求改期。練習也感到沒有把握，於是一位管帶硬著頭皮見李鴻章，請求演練改期。
盡管風雨交加，李鴻章卻興致勃勃，他一手拿起望遠鏡，瞄準靶場，一邊對管帶說:"一點小雨，何足掛齒?趕緊開始吧!"
演練隻好按時開始。
果然不出所料，演練成績十分糟糕。開始射擊的幾門炮有的連靶邊都沒挨到。李鴻章的臉色仿佛天色一樣黯淡下來，官員們也忐忑不安。接下去的幾炮還是不成，李鴻章驀地扔掉望遠鏡，站了起來，官員們臉色大變。
眼看著李大人要怒氣衝衝地離開觀操棚，忽然聽到有人喊:"打中了!打中了!"隨後喝彩聲不斷。隨從趕緊把望遠鏡遞給李鴻章，李鴻章順著炮聲望去，這名炮手果然不凡，三發三中。
演練結束後，李鴻章傳話要見這名炮手。不久，一個結結實實的青年走了上來。
"你叫什麼名字呀?"
"學生段祺瑞。"
"哪裏人呀?"
"學生是合肥人。"
1885年，北洋武備學堂剛剛創辦，段祺瑞就從山東駐地考進了該學堂的炮科，成為第一批學員。當聽到段祺瑞是合肥人，李鴻章對他更為注目。
當時洋務派和頑固派互相傾軋，鬧得厲害，而洋務派內部也派別林立，有李鴻章的淮係，曾國藩、左宗棠的湘係，張之洞的湖廣集團。李鴻章為了擴展自己的勢力，特別注重同鄉，尤其是青年才俊。不久之前，北洋艦隊成立，他便委派了安徽老鄉丁汝昌為提督，北洋海軍官兵多為福建人，對此嘖嘖，表示不滿，有人勸李鴻章收回成命。李鴻章卻以"命脈相關"，"不敢輕以付托"予以拒絕。
現在，聽到段祺瑞不僅是安徽人，而且還是合肥人，更加注意了。後來又得知段祺瑞祖父和族叔均為淮軍將領，祖父又曾隨李鴻章剿過撚軍的情況，引起了他極大的興趣。因此，李鴻章對這個舊部子弟愈發有好感了。他接著詢問了一些軍事問題，段祺瑞對答如流。李鴻章大喜，誇獎他"熟知軍事，俾其造就，是一個可用之才"。讓手下人記住了段祺瑞這個年輕人。
1889年，清政府擬選拔五個人去德國學習軍事。當名單送至李鴻章手裏時，李鴻章皺了皺眉，有些不高興，因為名單上五個人有三個是山東籍的，安徽籍的才兩人。於是想到了武備學堂的段祺瑞，李鴻章大筆一揮，劃去了名單上的一人，把段祺瑞列在名單之首。
兩年之後，李鴻章又特批這位小同鄉一人留在德國克虜伯炮廠實習深造，他先後兩次寫信給段祺瑞，勉勵他精學苦造。克虜伯當時是歐洲聞名的最大的重工業壟斷集團之一，而克虜伯家族是世界上最大軍火製造世家。段祺瑞在這個世界最先進的火炮廠又學習了兩年。回國後，在山東威海武備學堂擔任算學和炮學的教習。