當時，中國北方的遊牧民族匈奴強盛起來，時常南下侵擾漢朝的邊境，如何防禦匈奴，就成為西漢的重要國策。公元前138年，從審問匈奴降人的口供中，漢武帝獲悉：在今甘肅敦煌一帶原來居住著一個大月氏部落，這一部落多次遭受匈奴的攻擊，匈奴殺月氏王，以其頭為飲器，大月氏被迫遷到西域，人民對匈奴貴族恨之入骨。為反擊匈奴，漢武帝便尋思聯絡大月氏，夾擊匈奴。但聯絡大月氏談何容易，這不僅由於其間路途遙遠，更因為西行必須經過匈奴的控製區。任務極其艱巨，沒有人敢去。漢武帝不得已下令公開招募使者。陝西漢中人張騫大膽應募，被錄用。
公元前138年，張騫率領100多個隨從人員，由姓堂邑氏的胡人奴仆甘父充當他的向導。他們一行從隴西出發，帶大量禮物出使大月氏。不幸的是，出發不久，他們就被匈奴騎兵掠去了。他們被帶到匈奴單於的麵前，單於生氣地說：“大月氏在我們西北邊，漢朝廷為什麼要派人出使呢？我想派人到越國去，漢朝廷肯答應我嗎？”於是，把張騫一行全部扣留起來。為了消磨他的意誌，單於還賜給張騫一個胡妻，並且有了孩子。然而張騫並沒有因此而忘記自己的重大使命，他天天遙望故土，懷念父老，尋找機會，準備逃走。
10年後的一天，機會終於來了，由於匈奴人疏忽，張騫率領部屬逃離了虎口。他們一路西行，走過黃沙鋪天、酷熱難熬的沙漠，翻越冰封雪蓋、突兀高聳的蔥嶺，並時時與饑餓幹渴鬥爭。他們首先到達大宛，然後由大宛出發，通過康居，到了大月氏。
大月氏為了避開強敵的威脅，這時已從中國的西北舉國西遷，移居阿姆河和錫爾河一帶，並征服了大夏國。大月氏境內土地肥沃，很少遭到外來入侵，百姓安居樂業，遠非昔比。因此當張騫說明來意後，大月氏王表示無意東還，而且已經沒有向匈奴報仇的想法了。張騫在大月氏逗留了一年多，得不到結果，隻好起程回國。然而張騫的西行並非一無所獲，在西域他考察了大月氏、大夏的社會經濟、山川地理和風土人情，並了解到許多周邊國家的情況。
回國途中，張騫又一次被匈奴拘禁，過了一年才同甘父和胡妻一起逃回長安，向漢武帝複命。張騫向漢武帝詳細敘述了西方的情況，其中還說到離蜀郡不遠的身毒國，身毒國以西還有烏孫、安息、奄蔡、條支等國。漢武帝從張騫的彙報中，得知西方竟有這麼多國家，大開了眼界。
張騫的出使雖然未能達到聯合大月氏的預期目的，但卻實地勘察了東西交通要道，開辟了舉世聞名的“絲綢之路”，從而大大開拓了人們的地理視野，將一個新的天地呈現在古人麵前。根據張騫的出使報告整理而成的《史記·大宛傳》、《漢書·西域傳》，是世界上對這些國家情況的最早、最詳實的記載，成為後人進行研究的最珍貴資料。鑒於這一功績，漢武帝封張騫為太中大夫，後晉升為博望侯。
消滅了匈奴主力以後，漢武帝多次召見張騫，問及大夏等國的情況。漢武帝從張騫的報告中了解到西域情況，特別是從烏孫到伊犁河一帶諸國曾與匈奴發生過矛盾的情況，便確定了在反擊匈奴作戰中，爭取烏孫及西域諸國，以斷匈奴右臂的正確戰略。漢武帝非常讚成這個主張，拜張騫為中郎將，再次命他出使西域，去聯合烏孫。漢武帝命張騫在通西域過程中，要致力於爭取加強與各國各族的友好往來，認真執行團結諸民族的政策。
公元前119年，張騫率領300人組成的使團，每人配備了好馬兩匹，並帶有上萬頭牛羊和價值數千萬的金幣、絲帛再次出使西域。這時河西地區已為西漢所控製，張騫使團往來就很方便了。他們從隴西向西進發，經酒泉、玉門關、焉耆、龜茲到達巴爾喀什湖以南一帶的烏孫。張騫很快與烏孫建立了關係，張騫見了烏孫王，轉達了漢武帝的旨意。烏孫王覺得漢朝太遠，不敢斷然與匈奴為敵，又加以國內時有政治衝突，因此未能答應張騫的要求。為了答謝漢朝使者，烏孫國王特派遣數十名使臣帶了禮物，隨同張騫返回漢朝，進行回訪。
在烏孫期間，張騫還分派十幾名副使，帶著禮物，分別出使大宛、康居、安息、大月氏和大夏等國。所到之處，漢使受到熱烈歡迎。隻有樓蘭、車師兩國繼續與匈奴勾結。漢武帝命趙破奴統領騎兵擊破了這兩個小國。這樣，西域各國都擺脫了匈奴而接受西漢王朝的管理了。此後，西漢政府便設官常駐，命軍隊屯田，從此各族人民與內地的交往就愈來愈密切了。西漢政府還派使節到過安息、身毒、奄蔡、條支和犁軒，和它們都建立了貿易關係。