漢武帝初年的時候，漢武帝從投降過來的匈奴人那裏，得知了有關西域（今新疆和新疆以西一帶）的情況。他們說有一個被匈奴打敗的月氏國，向西遷移到西域一帶。
漢武帝想，月氏在匈奴西邊，如果漢朝能跟月氏聯合起來，斷絕匈奴跟西域各國的交往，這不是等於斷了匈奴的右臂嗎？
於是，他下了一道詔書，征求能到月氏去聯絡的人。
有個年輕的郎中張騫，覺得這件事很有意義，便自告奮勇去應征。隨後又有一百多名勇士應征，其中有個叫堂邑父的匈奴族人，也願意跟張騫一塊兒去找月氏國。
公元前138年，漢武帝就派張騫帶著應征的一百多個人出發了。但是要到月氏，中途必須經過匈奴占領的地界。張騫他們小心地走了幾天，還是被匈奴兵給發現了，全都做了俘虜。
他們被匈奴扣押了十多年。日子久了，匈奴對他們管得不那麼嚴了。張騫偷偷找到堂邑父，兩人商量了一下，瞅匈奴人不防備，騎上兩匹快馬逃走了。
他們一直向西跑了幾十天，曆盡千辛萬苦，逃出了匈奴地界，進入了一個叫大宛（在今中亞細亞）的國家。
大宛和匈奴是近鄰，當地人能聽懂匈奴話。張騫和堂邑父便用匈奴話與大宛人交談起來。大宛人給他們引見了大宛王，大宛王早就聽說漢朝是個富饒強盛的大國，聽說漢朝的使者到了，非常高興，後來，又派人護送他們到康居（約在今巴爾喀什湖和鹹海之間），再由康居到了月氏。
月氏被匈奴打敗以後，遷到大夏（今阿富汗北部）附近，在那裏建立了大月氏國。大月氏國王聽了張騫的來意，不感興趣，因為他們不想再跟匈奴結仇。但是張騫畢竟是個漢朝的使者，也很有禮貌地接待了他。
張騫和堂邑父在大月氏住了一年多，沒能說服大月氏國共同對付匈奴，隻好返回長安。
張騫在外麵整整過了十三年才回來。漢武帝認為他立了大功，封他為太中大夫。
到了衛青、霍去病消滅了匈奴兵主力，匈奴逃往大沙漠北麵以後，漢武帝再次派張騫去結交西域諸國。
公元前119年，張騫和他的幾個副手，拿著漢朝的旌節，帶著300個勇士，還有1萬多頭牛羊和黃金、綢緞、布帛等禮物去西域建立友好關係。
張騫到了烏孫（在新疆境內），烏孫王親自出來迎接。張騫送給他一份厚禮，建議兩國結為親戚，共同抵禦匈奴。
過了幾天，張騫又派他的副手們帶著禮物，分別去聯絡大宛、大月氏、於闐（在今新疆和田一帶）等國。烏孫王派了幾個翻譯做他們的助手。
這些副手去了好久還沒回來。張騫決定不再等下去了，烏孫王便派了幾十個人護送張騫回國，順便一起到長安參觀，還帶了幾十匹高頭大馬送給漢朝皇帝。
漢武帝見烏孫人來了，很是高興，又瞧見烏孫王送的大馬，就格外優待烏孫使者。
一年後，張騫生病死了。張騫派到西域各國去的副手也陸續回到長安。副手們把到過的地方合起來一算，總共到過36個國家。
從那以後，漢朝和西域各國建立了友好交往的關係，漢武帝每年都派使節去訪問西域各國。西域派來的使節和商人也絡繹不絕。中國的絲和絲織品，經過西域運到西亞，再轉運到歐洲，後來人們把這條路線稱作“絲綢之路”。