就在段祺瑞到山東威海當兵的第二年，父親千裏迢迢去探營。萬不料，段從文帶著兒子節省下來的銀兩返鄉途中，就在離家鄉隻剩幾十裏路程的時候，夜間，兩個同伴起了歹意，將他害死，把他藏在腰帶裏的銀兩洗劫一空！段祺瑞聞噩耗痛不欲生，欲請假回鄉報案並料理後事，卻沒被上司批準（晚清的軍紀顯然比我們想象的嚴，即令有當官的叔叔也不管用）。他隻好馳函合肥知縣，懇請緝凶正法。母親範氏在凶犯落案被正法後不久，便扔下十幾歲的女兒啟英和兩個不到十歲的兒子啟輔、啟勳憂悒而歿，在亡夫去世半年後與之相會於黃泉之下。這一次，上司終於準假讓段祺瑞回籍發喪了。半年之內，父母雙雙死於非命，骨肉同胞寄養人家，試想，血氣方剛的段祺瑞該怎樣地悲憤與苦惱！
假滿後，十七歲的段祺瑞返回威海營中。
到了這會兒，就該說說“李合肥”李鴻章了。
近百年，中國有兩位“合肥”權重一時，而且，都在生前和身後被罵為“賣國賊”。“李合肥”比“段合肥”大四十二歲，是爺爺輩的鄉賢。出自同一片土地，同為一代人雄，同樣風光了大半輩子，卻又同在國難當頭之際含恨而終，真是殊途同歸。
若論文化素養與治國才略，段合肥麵對李合肥不知要自慚多少回！因為李鴻章乃久負清譽的鄉間大才子、京城名翰林，更是大清國的中興之名臣、國家之棟梁，充滿政治智慧且深諳為官之道，生前把能得到的政治待遇全得到了，如文華殿大學士、太子太傅、一等肅毅侯等等，乃有清一代至尊至崇的漢臣；而段祺瑞則是個不擅言辭且不喜文墨的赳赳武夫，性情剛直意誌堅定但卻缺少圓通韌性，這對一個身置亂世且對手往往不按套路出牌的政治家來說，或許是致命的人格缺陷。
段合肥對李合肥的感戴是不言而喻的。作為後來的治國者，段祺瑞深知，若不是當年李中堂幫清廷設計出“以夷製夷”的外交政策，並身體力行苦撐危局，列強或可吞掉中國更多的領土和利益；身為淮軍這一既得利益集團的末梢成員，段祺瑞心裏當然清楚：若不是李大人回籍組建淮軍並帶領子弟兵東西征戰，也就不會有他段家的出人頭地。
李鴻章對段祺瑞的直接影響，是在小段從軍四年之後——正是李鴻章在直隸總督兼北洋通商大臣任上創辦了天津武備學堂（亦稱北洋武備學堂），招收品學兼優的軍人入學，這才一舉改變了二十歲的段祺瑞的人生軌跡。發憤圖強的段祺瑞，以第一名的超好成績考取該學堂第一期預備生，在步、騎、炮、工、輜五個專業中，他選了最具技術含量與戰爭威力的炮科。
當然，“小合肥”也很給“老合肥”爭氣。這個李中堂的小老鄉，“每屆學校試驗，輒冠其儕輩”。某次，李中堂檢閱學生們軍事操練，發現炮科成績最優者段某，正是當年跟自己征戰的部將段佩的孫子。當即，李大人頷首讚曰：“可用之才。”
入校一年後，二十一歲的段祺瑞到江蘇宿遷娶回當年祖父為他訂好親的吳氏——瞧見了吧？早在一百三十年以前，在校大學生就可以結婚了。
二十二歲時，段祺瑞以“最優等”的成績從武備學堂炮科畢業，被派往旅順口督修炮台。僅一年，機會再次光臨——李中堂欲派優秀青年軍官赴德國研修。已經淡出李大人視線的段祺瑞，再次以第一名的優異成績考取。於是，李中堂大筆一揮，段祺瑞和吳鼎元、商德全、孔慶塘、滕毓藻五位優秀考生就跟著督學蔭昌去了德國。
在德國，段祺瑞有一年半的時間與四位同學在帝國柏林軍事學院攻讀現代軍事課程。學業結束後，段祺瑞奉命一個人在克虜伯兵工廠實習了半年。
兩年的時間，使段祺瑞讀懂了德意誌帝國的曆史。該國是從鬆散的三十九個小國統一而成的君主立憲製聯邦國家。統一不是談來的，而是原先的普魯士王國通過若幹場戰爭得來的，包括改變歐羅巴版圖的普法戰爭，普魯士王國一舉戰勝了強大的法蘭西帝國，德皇威廉一世的加冕儀式，竟是在法國最著名的凡爾賽宮裏舉行的！
隻有出現普魯士的俾斯麥那樣強硬的“鐵血宰相”，才能統一國家；隻有擁有克虜伯大炮這樣的最先進的兵器，才能打贏與奧地利和法蘭西的國家戰爭——這就是年輕的清國軍官段祺瑞看到的德國複興的現實。
正是在德國，本就沉默寡言的段氏奠定了一生務實較真的作風，更打下了日後倚恃武力統一國家的思想基礎。
學成歸來後，段祺瑞回到天津，任北洋軍械局委員（章京之下的實職）。將留德學炮兵回來的段氏安置在軍械局，顯然與李中堂當時正在大購德國軍火以備迎戰日本有關。一年後，段被下派至山東威海武備學堂任炮兵教習，自茲開始其長達十六年的培育軍事人才的生涯。