中國要用自己的錢，自己的工程師，修建京張鐵路的消息像長了翅膀一樣，傳遍了國內外。可是許多外國人聽了以後，根本不相信中國人自己能修築鐵路。他們紛紛議論：“中國工程師決不可能修築這樣艱巨的工程。”“建築這條鐵路的中國工程師，恐怕還沒有出世呢!離開我們的工程師是修不成的。”詹天佑聽了這些冷潮熱諷後，毫不氣餒。他認識到：“此路早完成一天，國家就早一天獲利，商人也早一天得到方便，也可以早一天杜絕外國人非分的企圖。”他對全體中國工程技師和工人們說：“全世界的眼睛都在望著我們，必須成功!”“無論成功或失敗，決不是我們自己的成功和失敗。而是我們的國家!”他深深地感到自己肩上的責任重大。
1905年5月，清政府在天津成立京張鐵路總局，在北京成立京張鐵路工程局。同時在北京設立了材料廠，在豐台設立購地所。詹天佑年富力強，眾望所歸，出任京張鐵路總工程師，主持全線工程。詹天佑接受修築京張鐵路任務後，心情興奮，揚眉吐氣。他出任後第一件事就是立即組成一支工程技術隊伍，由北洋武備學堂附設鐵路工程班學員、山海關鐵路學堂畢業生、關內外鐵路熟練工人組成，並加以嚴格的培訓。那時詹天佑的京張鐵路的得力助手，後來都擔負起中國鐵路建設事業的重要職務。
為了取得理想的線路，詹天佑帶領部分工程技術人員，開始了京張鐵路工程的實地勘測。在線路的勘測工作中，詹天佑，跋山涉水，不辭辛勞。他白天親自帶領工程技術人員，背著標杆、經緯儀，爬在峻嶺崖壁上，定點測量，晚上伏在簡陋的桌子上，查閱文獻，繪圖計算。幾乎天天如此，沒有休息的時間。詹天佑在測量過程中一絲不苟，十分認真，並嚴格要求工作人員，他經常說：“技術第一要求精密，不能有一點含糊和輕率。‘大概’、‘差不多’這一類的說法，不應該出於工程人員之口。”由於當時缺乏適當比例的地形圖，隻能依靠多年積累的選線經驗，在野外決定線路的取舍。他一共勘測了三條線路。
第一條線路：從豐台出發，經北京廣安門（當時稱彰儀門）、西直門、清河、沙河、南口、關溝、居庸關、八達嶺，至張家口。線路進入南口，就是著名的關溝地段，沿途重山峻嶺，崗巒重疊，溪澗紛岐，地形複雜。一出居庸關，八達嶺橫蔽於前，上麵長城峭壁險要，觸目驚心。自岔道城經懷來宣化城，中有蛇腰灣、老龍背等處，石徑狹窄，下臨洋河，平時涸淺，一到夏天，山水漲發。過宣化到達張家口，有石壑子等山嶺，形勢險峻，亂石塞途。整個路段，工程極為艱巨。
第二條線路：由懷來轉經延慶州（今延慶縣），繞過關溝地段，由熱河（今承德）到北京的通道，從得勝口人關，過明十三陵到達北京，這條線路途較遠，軍都山山地斷斷續續。坡度也不小，施工難度並不比第一條線路容易多少。
第三條線路：從北京西直門西行20公裏，繞石景山，經過三家店，沿永定河逆流而上，再由懷來而至張家口。這條線路通過能力高，運輸功用較大，是一條比較理想的線路，但是永定河穿行於西山之間，迤邐曲折，山高坡陡，雖然比較平緩，但山路崎嶇，工程特別浩大。詹天佑不得不放棄這條線路。後來在1955年的時候，因運輸需要，建成京張鐵路第二通道，豐（豐台）沙（秒城）鐵路，就是當時的這條線路。
詹天佑經過反複論證，結合京張鐵路當時運量小、行車速度低、經費短缺、工期緊迫等條件，最後選用了第一條線路，即關溝地段，作為南口通往岔道城的線路走向。
京張鐵路工程全長約190多公裏，全線需要鑿通四座總長近l700米盼燧道。架橋125座，建涵洞200多個，動土方約200萬立方。。詹天佑把它分為：第一段，，由豐台修到南口，長約60公裏。第二段，由南口修到岔道城，長約19公裏。第三段，由岔道城經懷來、宣化到達張家口，長約128公裏。
京張鐵路於1905年10月2日開工。詹天佑和廣大工人一起，以極大的毅力戰勝無數艱難險阻，1906年1月6日京張鐵路第一段開始鋪軌，詹天佑在豐台釘下了第一枚道釘。當路基修到西便門外時，正好盧漢鐵路通車了，必須架設一座天橋橫過盧漢路的路軌。修至廣安門時，又遇上白雲觀，又必須繞道改動線路。在豐台車站鋪軌的第一天，京張鐵路工程隊的工程列車中有一節車鉤鏈子折斷，造成脫軌事故，費了很大力氣才恢複原狀，影響到部分列車的行駛。那些不相信中國人自己能修好鐵路的人，到處造謠說：詹天佑在釘道的頭一天就翻了車，這條鐵路不用外國工程師就靠不住。吃一塹，長一智，詹天佑接受了列車鉤鏈子折斷的教訓，采取了安全措施。9月30日，路軌鋪到南口，首段鐵路工程全部竣工通車。詹天佑從長遠利益出發，選擇當時國際通用的1。435米軌距，並采用了由美國人詹內發明的垂直式平麵自動車鉤，保證了安全。鋼軌和鋼梁都分別購自我國漢陽鐵廠和山海關橋梁廠。
詹天佑在京張鐵路第一段工程完工之後，寫了一封信給美國老師諾索布夫人。他在信中充滿了中國人的自信心和自豪感：中國民眾已知道建築鐵路的迫切需要。中國人要用自己的工程師和自己的錢來建築鐵路。現在中外人士都在注視我主持的京張路工程。如果京張路工程失敗的話，不但是我的不幸，中國工程師的不幸，同時帶給中國很大的損失。在我接受這一任務前後，許多外國人露骨地宣稱，中國工程師不能擔當京張線的石方和山洞等艱巨工程，但是我堅持我的工程，現在第一段工程已經完工……。
京張鐵路第一段工程完工後，為了加快工程速度，詹天佑決定第二段工程和第三段工程幾乎同時開工。第二段工程開工後不久，英國彙豐銀行有意拖延支付工款。詹天佑去找清政府郵傳部尚書岑春煊，說明早日建成京張鐵路的意義。經過岑春煊的努力，終於使彙豐銀行同意了京張鐵路的撥款，工程得以繼續進行。
由南口至岔道城的第二段工程，是京張鐵路中最艱巨的一段。特別從南口往北，經過居庸關、青龍橋到八達嶺，這20多公裏的一段線路，地勢步步升高，盡是懸崖峭壁。尤其是關溝一帶，地形險峻，需要開鑿大量隧道，工程更為艱巨。關溝地區是京張鐵路地勢最高地區，地形相當複雜。特別是最高峰八達嶺，峰巔終年積雪。這一帶地層幾乎全是花岡岩，由於岩石風化，一部分鐵鉛滲到了表麵，大片岩壁呈現紅色，因此又稱“赤嶺”。明朝延慶州巡撫童恩曾題有“天險”兩字。八達嶺是居庸關的北口，與居庸關以南的南口相對稱。兩山間建築一座關城，這就是舉世聞名的居庸關。關城有南北兩門，南麵額上題著“居庸外鎮”，北麵額上題著“北門鎖鑰”四字。關城兩側長城蜿蜒起伏，城牆依山而築，氣勢磅礴，所以古書上說得好：“居庸之險，不在關城，而在此嶺（八達嶺）。”