但修路經費掌握在英國手中，於是北洋大臣袁世凱飭令梁如浩等仍照原來議決的方案和顧璞等進行會談。並致函倫敦的中英公司，提議在關內外鐵路的進款餘利項下，劃存6個月借款本息，其餘由該路任意提撥作為開辦京張鐵路之用。中英公司則堅持：“必須備存一年的本息後，方可提用餘款。這樣往返交涉了又將近一年，英方才同意改為6個月。並認為：修路的經費既已掌握在英國之手，修成後一定對英國有利。另一方麵，帝俄也提出：如果清政府用本國的工程師和經費來修京張鐵路，俄、英兩國都可以不必幫助。他們以為這樣要挾，京張鐵路必然沒法動工，動了工也必然會中途失敗，那時不怕不向他們求援。
因此，就確定了中國人必須負起自己修築和經理京張鐵路的任務，此時清政府不得不同時聲稱：不任用一個洋工程師，此路全部由中國人自己修築和管理，與他國無關。
京張鐵路是中國第一條自修的重要鐵路，各國的工程界都注意主持這條鐵路的人選和動工時間。光緒三十一年四月（1905年5月），袁世凱、胡橘棻正式準請清朝政府成立京張鐵路總局和工程局，派陳昭常為總辦，詹天佑為總工程師兼會辦。
當詹天佑出任京張鐵路總工程師兼會辦的消息傳出以後，那些充滿著失敗主義情緒、毫無民族自尊感的大人先生們，有的笑他“不自量力”，有的罵他“膽大妄為”，也有的說“這不過是白花幾個錢罷了”。這些蔑視和嘲笑都沒有影響詹天佑的堅強信心。他決定用事實來回答他們。
這條路決定全部由中國技術人員來修築，詹天佑遇到的困難當然是很多的。這是因為在腐敗昏庸的清朝政府統治下，中國工程人員是極有限的。但詹天佑相信，依靠廣大的工人和辦事員是可以解決困難的。他很自信地說，沒有工程師不要緊，隻要有工人，有辦事人員，就能互相幫助，互相依靠，一定會把這條路造成。
光緒三十一年四月（1905年5月），詹天佑在人才異常缺乏的情況下，克服了重重困難，著手籌組工程局。設立京張鐵路總局於天津，設分局於北京西城豐盛胡同，同時設工程局於北京。又在北京設立材料廠，在豐台設立購地所。工程局由詹天佑親自負責，所有工程師均由詹天佑量才調度，同時他又兼任材料管理的職務。
工程局成立以後，詹天佑立即懷著興奮的心情，帶了幾個學生和他的工程隊的一部分人員來北京開始測線。
京張線的初測工作，由詹天佑和學生張鴻浩、徐士遠擔任，他們從豐台以東京奉路柳村第60號橋起，經西直門順大道直奔張家口。由北京往西北，沿途橫阻著崇山峻嶺，其中以關溝地帶為最高。這個地方稱作南口河穀。從南口到西撥子共長20公裏，包括東園、居庸關、四橋、三堡、青龍橋和最高峰八達嶺。這一帶，盡是懸崖峭壁，通過關溝地區的老龍背、蛇腰灣、鷂兒梁、石壑子等處，坡度極陡，工程浩大。詹天佑等測完這條線路以後，感到由於通過能力低，運輸量受到很大限製，於是在從張家口往回測的時候，又設法尋找其他的線路。
詹天佑在緊張的選線測量工作中，經常勉勵工作人員說：“全世界的眼睛都在望著我們，必須成功！”“不論成功或失敗，決不是我們自己的成功或失敗，而是我們的國家！”“技術第一要求精密，不能有一點含糊和輕率。‘大概’、‘差不多’這一類說法，不應該出自於工程人員之口。”有些技術人員測量過的地點，他又帶著儀器再行複勘一次。有一個青年技術人員表示很不高興，背後說：“你既然不放心，自己還要測量，又何必叫我們測量呢？”詹天佑聽見了，既嚴肅又和藹地對他說：“並不是我不信任你們，科學的工作，多一個人檢查，總是好的。諸位的責任是太重大了！”這個技術人員被他這種負責的精神所感動，就自動的一次又一次地複勘來校正錯誤。
詹天佑等回測的路線是經過懷來縣、延慶州、小伏家口，沿著熱河至北京的大道，經得勝口過山，過明十三陵、黃土梁而到北京。這樣就可以繞過關溝地帶，但路途繞遠，坡度也不小，工程並不比前線簡單。
詹天佑不怕艱苦勞累，又去勘查了第三條線路，這是一條理想的，但是也是工程浩大的線路。這條線路是由西直門迤西40裏，繞石景山，經過三家店，沿永定河，從青石口到沙城附近的豬河口出山，到達張家口。詹天佑計劃中的這條線路，主要沿永定河畔的峭壁修建，工程比關溝還要艱難，但通過能力較高，運輸量可能增加數倍。當時不少人都想采用這條比較合理的線路，並且也製成了預算和工程計劃，但由於清政府批準的款項和時間限製，采用此線不僅不能按時完工，而且經費也要超過許多，於是詹天佑隻得放棄這一條線路。而這條線路正是現今的豐沙線。
初測完成以後，詹天佑決定采用通過關溝的一條線路，於是又調配人員分別全麵進行複勘定線，把全線分成三段。第一段由豐台至南口，詹天佑自行插標，由副工程師陳西林、學生張鴻浩、徐士遠等詳細測量定線；靠近南口山麓地勢高的部分，由副工程師俞人風、柴俊疇勘定。第二段由南口到康莊，中間要經過關溝。由南口至八達嶺雖僅二十餘公裏，但高度均在600米左右，須開鑿大約1080米以上的隧道，由陳西林、張鴻浩勘測。至於八達嶺隧道的定線。則派副工程師顏德慶，工程員張鴻浩、蘇以昭等負責。第三段由康莊至張家口，由副工程師翟兆麟，學生劉錡、李鴻年、耿瑞芝，練習生吳廷葉、傅菊樵等負責。
勘測之後詹天佑即將勘測的情形向清政府做了如下的報告：
（一）全路裏程按驛站計420裏，以測量路程計360裏，此路中隔高山峻嶺，石工最多，橋梁又有7000餘尺。路險工艱為他處所未有，每裏約估銀兩萬兩（仍俟細勘方能估實數目）。
（二）第一段由豐台修至南口，長104裏，從速動工約年餘方可竣工，隨即行車賣票，冀得少獲餘利，且於轉運材料亦較為直接。
（三）第二段由南口修至岔道城，長33裏，擬俟第一段開工後，即派精細工程師分駐關溝地方詳細勘測，兩相比較，視何路為最宜，即由何山開鑿，趕緊動工。
（四）第三段由岔道經懷來、宣化達張家口，長223裏，關溝山洞一時難以竣工，所有該段材料，隻可先用騾車由大道轉運，陸續興工，一俟山洞鑿通，而第三段工程亦將告成。若兩端同時並舉，期以三年餘約可全路通行。惟鋪墊碎石以及零碎工程，尚須一年之久，方可一律完善，約計四年餘，若款項應手則全路可以告成。
（五）餘路商務，居庸關設有道捐局，專收車輛牲口捐，查其所收捐冊約計每日用馬車騾駝轉運貨物，經過該局有2萬擔之譜，由京往來張家口貨物，現在每擔約需時價銀一兩二錢，每人約需車價銀三兩五錢，若將來由火車裝運每擔車腳以二錢五分核算，全車360天約可收貨票銀180萬兩，客座每裏以二錢五來換算，每日以五百客座計之，全年360天約可收客票銀259200兩，統計貨票客票兩項，每年約有進款銀2059200兩。
（六）全路養路費，每裏每日約需銀十兩，以全年360天核算，共約需銀1296000兩。此路之外，既無河道，又無別路可以轉運。且車馬騾運腳價亦昂，即車價稍為增加未嚐不可。但創辦伊始，商旅驟聞車價昂貴，眾皆裹足，以故車價愈賤而招徠愈廣，則進款亦愈多。查泰西各國，鐵路定價最廉，凡遇商賈往來，格外優待，絕無留滯，以故年盛一年。俟第一段路工告竣，當即嚴定章程，庶幾運務日盛，而利源日溥，即京榆全路進款亦可借此日增。
（七）查宣化府屬之雞鳴山煤苗頗旺，已有用土法開采，其煤質亦似甚佳，於機器廠火車鍋爐或可適用。若遣派礦師赴該山查勘，果係可用，再行設法開采，則京張全路借資利用，既省轉運之費，取值亦廉，並可運銷各處，而全路進款亦日益加增。
（八）查懷來縣屬之新保安山，素產硬煤，為該處居民所日用，如遣礦師查勘雞鳴山煤礦時，可就便勘驗，如煤苗果旺，似宜一並開采，即就地銷售亦必流行。若再由火車運銷各處，則車價較駝運取值尤廉，於本路進款，裨益更多。
（九）如能開采以上兩礦，先有三利：本路免購開平煤炭，既省運費，又可就近裝用，利一。該礦出煤愈多，轉運別處銷售必由火車裝運，則車腳日多，利二。由火車裝運，車價既廉，則民間日用益多，其煤價亦必照現在減少，而民間更樂為購用，且附近小民，更可借該礦工作以謀生，利三。
在勘測線路的報告中，詹天佑科學地分析了修建京張路的價值，著重地說明了京張鐵路的經濟價值，並對此路未來的發展做了足夠的估計，同時，又精打細算力求提高工程質量並且節省費用。同年六月初八日，詹天佑將修造京張路的辦法，並附詳細的圖表說明送請袁世凱、胡橘棻審查批準。
在複測中，詹天佑不管在何種惡劣的條件下，始終精神飽滿地堅持工作。他親自率領工程人員，背著標杆、經緯儀在懸崖峭壁上定點製圖，塞外經常狂風怒號，刮得滿天灰沙，一不小心就有被卷入深穀的危險，但詹天佑始終堅持工作，並鼓勵大家一起堅持。他為了尋找一條最好的線路，不僅多方搜求資料，而且親自訪問當地的農民，征求意見。他常常騎著小毛驢在崎嶇的山徑上奔馳。白天翻山越嶺，晚上還要伏在油燈下繪圖計算，他在工作的時候總是想到：這是中國人用自己的人力財力建設的第一條鐵路，如果選線不好，不僅延長了裏程，增加了造價，被那些外國人譏笑，還會使中國工程師失掉自築鐵路的信心，所以必須出色地完成這任務。
當京張路決定通過關溝的消息傳出後，外國工程界紛紛議論：中國工程師決不可能修築這樣艱巨的工程。有的甚至說：中國會修關溝段鐵路的工程師還沒有誕生呢？但詹天佑卻有充分的信心把這條路修好。
光緒三十一年（1905年）九月初四日，京張鐵路開工。首先收購沿線所需要的土地。京張鐵路以豐台東六裏許的柳村60號橋為起點，豐台至柳村一段係租用津榆路已有的路軌。由柳村至廣安門外一段，係改築津榆路原修的頤和園鐵路的舊路基，津榆路所收購的土地，其未償地價由京張路補發。廣安門以北的土地則係京張路自購。線路所經地區，除民地外，還有許多清旗族的土地。這些土地名義上有四種：一種叫“圈地”，即所謂“跑馬占地”，凡旗族租地、敕建寺院、各王府，旗族義地、內務府和各牛錄等都屬此種。一種為官地，就是各衙門的屬地，學田、抄產、官山、官河、官荒、官道、官義地等，都屬此種。另二種為“民私產”和“旗私產”，都需按價收購。官地可以勘用，而各衙門地，學田、抄產及圈地，是地主永久租給農民的，因而須按照佃地之例付給佃價，按年納租。所以在購地開始時，即規定購地章程25條，所訂的地價以光緒二十九年（1903年）津榆路局所定收購柳村到廣安門外一帶地價為根據。
光緒三十一年（1905年）十二月十二日，京張鐵路開始從豐台鋪軌。鋪軌工程困難重重。詹天佑在群眾的歡呼聲中在路軌上釘下了第一根道釘。他在日記上寫道：當時“既無機器，又無車輛運輸鋼軌，隻能利用小平車和人力來克服困難。”當路基修到廣安門外時，正好蘆漢鐵路通車了，必須架設一座天橋橫過蘆漢路的路軌；修至廣安門，又遇上白雲觀，遭到繞道改動線路的困難。
這次京張鐵路的軌距，詹天佑堅持使用1.435米的標準軌距。他說：中國真正統一要從鐵路的軌距劃一開始。鐵路像人體的血管一樣，要能周流全身。鐵路四通八達，工商業便能跟著發展。
在豐台車站鋪軌的第一天，京張路工程隊的工程列車中有一節車鉤鏈子折斷，造成脫軌事故，費了很大力氣才恢複原狀，影響到部分列車的行駛。那些不相信中國人自己能修好鐵路的人，到處造謠說；詹天佑在釘道的頭一天就翻了車，這條鐵路不用外國工程師就靠不住。但列車鉤鏈折斷的事故卻提醒了詹天佑：不僅要有堅固的路基和標準的軌距，還要使列車的車廂之間能夠緊緊地聯結在一起，特別是爬向高地或自高地下降，都必須十分安全。這一係列的安全措施，都要在中國人自造的第一條鐵路上全部予以實現。他說他不怕任何造謠，可怕的是不肯改正缺點。後來他終於發明了自動掛鉤，使十幾節車廂牢固地結合成一個整體。這種掛鉤現在通用於全世界，人們稱為“詹天佑鉤”。