詹天佑開始了修路的前期準備工作，他親自訪問沿線居民，詢問山勢水情。長城以外北風呼嘯，黃沙漫天，詹天佑天天騎著小毛驢，在山溝之間奔走。遇到毛驢無法走的地方，他就自己背著儀器，爬山越嶺，實地勘測。
有時為了選擇好的線路，他在懸崖峭壁上測量定點，北風猛烈地吹來，一不小心就有被刮下深穀危險。助手們勸詹天佑下來，以免發生危險。他卻說：“不要緊，現在多辛苦一點，找到一條最好的線路，將來就可以省好多事，節省好多錢。”他臉上落了厚厚一層塵沙，呼出的熱氣在眉毛上結出了白色的冰霜。他都滿不在乎，經常工作到天黑以後才回家，回家以後還要繼續計算數據。
詹天佑的助手們見他太拚命，就說：“總工程師快休息一下吧！差不多就行了。”他扭過頭來，嚴肅地說：“這話可不對啊！科學技術的第一要求就是精密，不能有半點含糊和輕率。如果鐵路修不好，我們臉上無光，中國也會受到外國的嘲笑。”
助手們看詹天佑實在是太辛苦了，等詹天佑計算完了，就要求上山去測量。為了培養和鍛煉晚輩，詹天佑說：“那你們就去吧！可一定要仔細，一點兒也馬虎不得啊！”助手們測量回來後，他自己又背著儀器去複測。
年青的助手見這個情形，對詹天佑說：“您既然對我們不放心，又何必叫我們去測量呢？”詹天佑耐心地說：“不是我不信任你們，是科學不講情麵。隻要有一點兒差錯，就會出大問題。多一個人檢查，總是好一些。”經過複測，果然校正了不少錯誤。
在詹天佑及全體技術人員的努力下，順利完成了三條線路的測量任務。根據當時修路經費的限度，經過反複比較，最後選定從豐台開始，經過西直門、清河、沙河、南口、居庸關、八達嶺到張家口的路線，單是關溝段，就比英國工程師金達測定的路線減少了2000多米的隧道工程。
1905年9月4日，開始正式施工了。在最艱巨的關溝段，需要鑿洞架橋。為了保證工程質量，詹天佑把總工程辦公室搬到工地，和工人們同甘共苦，一起攻克難關，並且宣布：“不打通隧道，就不回北京。”當時沒有開山機、通風機等設備，全靠兩隻手挖掘，工程進度很慢。詹天佑因地製宜，有的地方用從兩頭向中間鑿進的辦法，有的地方在中間挖一個大豎井，再向兩頭掘進。為了保證施工質量。他不辭勞苦，親自把關，連炮眼的方位、大小、深淺和裝多少炸藥，都由他親自掌握。沒有抽水機，他就帶頭鑽進洞內挑水。經過大家的一致努力，終於啃下了隧道工程這個硬骨頭。
最艱難的工程完工後，又出現了八達嶺一帶山高坡陡，列車容易發生危險的問題。詹天佑為了行車安全，創造性地運用了“折返線”的辦法，就是從青龍橋起，沿著山腰，設計出一段“人”字形的線路，降低了坡度，使列車能夠安全穿過八達嶺。這一創造性的設計讓外國同行大開眼界。
經過詹天佑和全體工人、技術人員四年的努力，宣統元年八月（公元1909年9月），京張鐵路竣工通車。顯示了中國人的誌氣和才幹。京張鐵路的勝利建成，是近代史上中國人民的輝煌成就。
詹天佑的辛苦沒有白費，他因此成為修鐵路的第一個中國人，向全世界顯示了中國人民自力更生的力量。