1973年居延考古隊在肩水金關處發掘、出土的漢簡中有“肩水金關”字樣，據此證實，此處就是漢代的肩水金關遺址。從字麵意思理解，肩水就是在弱水的肩膀上：在肩水金關
上遊，弱水流域較寬，恰似人身子，而到肩水金關處流域變窄，恰似人脖子，而肩水金關正好處在肩膀上。
肩水金關是漢朝初年在居延塞防線上設置的惟一關口。河西走廊北側自東而西橫亙著龍首山、合黎山和馬鬃山等所謂“北山”，山勢低平，有幾處豁口，為天然通道。合黎山與馬鬃山之間地勢開闊，地貌以戈壁、沙漠為主，植被稀少，弱水縱貫南北，彙聚成居延海。弱水東側巴丹吉林沙漠與西側北山山脈構成遠控大漠、衛戍河西的天然屏障。弱水貫穿其中，成為由蒙古高原到祁連山北麓豐美草地的南北通道，是匈奴與羌人聯係的咽喉之地。在秦末漢初，匈奴騎兵逆弱水南上而進入河西走廊。霍去病第二次攻打匈奴也是從這個豁口涉過居延水，迂回西南，直進祁連山，打敗匈奴。由此可知，控製弱水兩岸就是控製住自漠北而至河西、西域之通道的要衝，封堵河西走廊北部豁口對漢朝意義重大。
為阻止匈奴南進，漢武帝元封二年至三年(前109—前108年)將漢長城從酒泉郡會水縣北部張掖郡下轄肩水都尉府—大灣城向西修到敦煌郡龍勒縣，同時還修築肩水金關向北至殄北的居延塞牆，使肩水金關成為進出河西腹地、北通居延地區的咽喉，也成為抵抗漠北匈奴鐵騎南侵的重要關口。漢武帝太初三年前102年)又遣強駑都尉路博德修築南從鎮夷峽（正義峽）口起向北沿黑河東岸毛目東山，經肩水金關至狼心北山再折向西達哈密北山一帶長城沿線修築了關城、烽燧、堡等設施，置官開渠，移民屯墾，時稱“居延塞”，形成以肩水金關為中心的北部軍事防禦體係。其中是居延塞防線上一座重要的烽燧，它矗立在鼎新鎮大茨灣村南約7公裏黑河西岸高山頂上，與大墩門水庫隔河相望，向南與石板墩、兔兒墩相望，向北與大茨灣墩、雙樹子墩等烽火台遙相呼應，墩墩相連，直至居延。
修築城堡烽燧的同時，西漢王朝在酒泉郡會水縣內設置北部都尉府、東部都尉府；在張掖郡居延縣設置肩水都尉府等軍事機構，派重兵把守。尤其是肩水都尉所轄居延及會水一帶，自漠北戰役後，匈奴受漢王朝軍事壓力不斷西遷，酒泉郡麵臨軍事壓力日益增大。西漢王朝不斷強化這一帶防務。起初，漢朝以重兵屯守，太初三年(前102年)漢武帝派李廣利征討大宛，同時又派路博德到居延築塞，並“益發戍甲卒18萬酒泉、張掖北，置居延、休屠以衛酒泉。”（《史記·大宛列傳》)。肩水金關就修築於這一時期，目的在於防止匈奴人從居延道南下襲擊酒泉，抄李廣利後路。