八達嶺附近山高坡陡，南口至八達嶺的關溝地區，高度差近60米，如鐵路沿山直上，行車勢必危險。京張鐵路需要通過關溝地區，所以在居庸關和八達嶺之間需要開鑿居庸關、五桂頭、石佛寺、八達嶺四條隧道，總長1645米。其中最長的八達嶺隧道，長達l091米，居庸關次之，長約400米。開鑿隧道，不僅要有經驗豐富的工程技術人員，要有精密的測量儀器，而且要有新式的開山機、抽水機、通風機等近代化設備。詹天佑充分估計到築路的困難，他在日記中寫道，“既無機器，又無車輛運輸鋼軌”，“隻能利用小平車和人力來克服困難。”它的難度可想而知。
居庸關隧道工程開工後，詹天佑立即將總工程師辦事處移到南口，他不顧條件艱苦，氣候惡劣，始終親臨前線指揮。詹天佑堅持從實際出發，大膽創新，摒棄歐美用機器開山鑿洞的方法，也不用中距離掘井的開鑿方法，而是采用從兩端向中點鑿進的方法。為節省經費，定線是在山股的最狹窄處勘測，然後升至山嶺審查隧道洞線的方向，置經緯儀於“地點”，然後向“天點”取直，再反過來測量“人點”，這樣，使天、地、人三點連成一直線。再將經緯儀移到“人點”測視天、地兩點是否和人點準確地連接為一直線。測量準確後，則於各點上豎立標杆，依此為標準，以定洞內的中撅，然後則用水平儀測量各撅相差的尺寸，依此繪成隧道的剖麵藍圖。
定線以後，就開始施工。這時工人們晝夜輪流工作，先按照釘在洞口事先測定韻中撅向裏鑿進，鑿進幾尺以後，就把經緯儀搬到中橛上，按照原來測定的天、人各點的方向，再在洞內測定一個中點，以一根長六尺左右的漆杆為標識，用孔明燈的光線來反射把它顯現出來。洞內的中點必須精密準確，不能有絲毫差錯，這樣逐漸向前測量，定出中點，才能準確地完成全洞工程。
接著，在隧道兩端各配備60名工人，其中鑿工40人，運輸工20人，鑿工工人一組，輪流打炮眼爆破，從兩端同時向中點鑿進。燧道有一段長約二三百米，正處於居庸關關城下麵，這裏地層土石鬆脆，又遇上雨季，泉水浸入，炸藥失去威力，工程進展艱難。詹天佑及時采取應急措施，組織人力挑水、排水，用大土方支撐，並用小鋼軌穿錯其問，節節前進。經過廣大工人一年多的艱苦奮戰，1908年4月14日，居庸關隧道正式鑿通。
居庸關道開工後不久，八達嶺隧道工程也接著開工。八達嶺隧道總長三倍於居庸關隧道。詹天佑根據八達嶺隧道過長和山勢崎斜，石質堅硬等特點，決定采用中距離鑿開的方法，就是在隧道兩端等距離的地方，從山頂打下兩口豎井，垂直下去，直達地基，這座豎井深達25．6米，直徑3．05米。豎井鑿成後，再向兩頭原來的2個，增為6個，可以同時開工，這樣把原來一條很長的燧道變成三條小隧道，大大加快了施工的進程，縮短了施工期限。通過精密測，隨時校正隧道的開挖方向和水平高低，最大限度保證了施工質量。為了不影響工人操作和身體健康，詹天佑還在井口和洞內設置了扇風機、避險洞和通風樓。這個世界聞名的八達嶺隧道工程，經過詹天佑的創造性和工人們的艱苦勞動，在5月25日勝利完成工程任務。
南口至八達嶺高低相差60米，按一般設計要求，鐵路在爬山時，每升高1米，至少要有l00米的線路。在短距離內將鐵路大大提高，勢必增加長度和彎道。為了解決行車安全，詹天佑應用超群的鐵路定線知識和豐富的線路勘測經驗，果斷地采用l：30（33．3％0）的大坡度和半徑為l83米的曲線，就是每修築l000米線路，就墊高33米。並在線路到達青龍橋車站時，一反當時常用的環山展線法，巧妙地采用“之”字形（又稱“人”字形）方案，在青龍橋附近石質堅硬的山坡上修築多層鐵路，使火車先往西走一段，升高一層，然後返折，往東走一段，再升高一層。這樣，在原來有限回旋餘地的半山中，就把鐵路大大提高，也就把燧道大大提高，使八達嶺的燧道長度，從原來計劃的l800米，縮短為現在的1091米，不僅緩和了路線的傾斜度，還減低了工程造價，解決了最困難的越嶺問題。
詹天佑在確定關溝段線路最大坡度和最小曲線半徑時，科學地解決了當時鐵路運量和運能之間的關係。由於坡度增大，它所產生的阻力也相應增大，如果坡度還要升高，列車就爬不上了。為了盡可能地適應鐵路運輸的需要，而且還根據條件和運營條件相輔相成的原理，在關溝段引進的當時最先的“馬立特”大馬力蒸汽機車。在列車前後各配備一台，另一台在後麵推，列車在“之”字形軌道的交叉點時，推的機車改為拉，拉的機車改為推，這樣省去了調機車的麻煩，從而解決了大坡道及小半徑曲線上和“之”字行線路上的行車問題。加上每節車廂之間使用美國人詹納發明的不易脫落的自動掛鉤，使列車能安全通過八達嶺。這樣，既能減少鐵路長度和彎道，又能保證行車安全與速度。
在采用新技術的同時，詹天佑十分注意就地取材，盡可能節約工程費用。例如，在橋梁工程中，他一方麵選用國外新型鋼梁，一方麵又因地製宜，在山區盡量修建拱橋，既堅固耐用，又減少進口材料，節約費用。在京張鐵路關溝段的20座橋梁中，就有l3座是混凝土拱橋，充分表現了詹天佑的愛國主義精神和創造能力。
由於居庸關、八達嶺兩處關鍵工程的正確設計和突破，1909年7月4日，京張鐵路鋪軌至張家口，9月19日竣工驗收中達到“花錢少、質量好、完工快”三個要求。9月24日全線通車。原定6年才能完成的任務，在不到4年的時間就提前完成了，創造了中外築路史上的奇跡。
同年l0月4日，在南口舉行盛大的全線通車典禮。這一天，南口車站搭起一座鮮豔的彩棚，到處旌旗飄揚，出席典禮的有清政府郵傳部尚書徐世昌、各界人士以及各國駐北京、天津使臣和外國工程師，中外來賓共萬餘人，盛況空前。下午一點鍾，南口車站前鞭炮聲連天，鑼鼓齊鳴，京張鐵路的盛大通車典禮開始了。參加慶典的廣東代表自豪地祝賀說：“詹總辦獨運匠心，不假外人分毫之力，築成此路，為中國人吐氣矣。”詹天佑聽了，誠懇而謙虛地說：“這是京張路一萬多員工的力量，不是我個人的功勞，光榮是應該屬於大家的。”詹天佑不善於說話，更怕當眾演說。散會後，詹天佑問一位老朋友：“我今年49歲了，你知道我生平最難的一件事是什麼？”“開鑿八達嶺隧道嗎？”“不是的。”“造灤河大鐵橋嗎？”“也不是的。”“我不相信還有比這兩件事更困難的事。”詹天佑笑著對朋友說，“今天在會場裏演說，一對我來講，比造橋和開鑿八達嶺隧道還要困難萬倍。”他的朋友說：“但是你今天講得很好。”詹天佑高興地說：“真的嗎？你這句話給我的鼓勵，比任何稱讚和恭維還大。”