漢武帝初年，匈奴人多次南下入侵漢朝。為了了解敵情，漢武帝經常會見一些投降了的匈奴人，無意中得到了一個非常有利的消息：匈奴冒頓單於當初打敗月氏國的時候，曾經很凶殘地把月氏王的腦袋砍了下來，用頭骨做了一個尿壺。因此，月氏人恨透了匈奴人，但他們力量小，又沒人幫助，隻好向西方逃去，不過他們一直都想報仇。
漢武帝想：真是太好了！以前打匈奴時，匈奴人敗了就跑，很難將他們一網打盡。現在要是跟月氏國聯合起來，從兩邊夾擊匈奴，那匈奴就無處可逃了！於是，他下了一道詔書，征求能幹的人到月氏去聯絡。當時，誰也不知道月氏國在哪兒，也不知道有多遠。要擔負這個任務，必須有很大的勇氣。有個勇敢的年輕人，名叫張騫，覺得這是一件有意義的事，首先應征。有他帶頭，別的人膽子也大了，共有一百名勇士應了征。有個在長安的匈奴族人叫堂邑父，是個神箭手，也願意跟張騫一起去找月氏國。
公元前138年，張騫帶著一百多人的隊伍從長安出發了。不久，他們就進入了匈奴人活動的範圍。張騫帶領手下人正想迅速通過時，不巧被匈奴士兵發現。這一百多人怎麼能是匈奴大軍的對手！匈奴單於聽說抓住了一個漢朝使臣，就問張騫：“你們要到哪個國家去呀？”張騫回答道：“我們要到月氏國去。”單於並沒有想到漢使是去聯絡月氏國攻打匈奴的，但他不允許漢使通過自己的地盤。張騫被留下做了人質，和手下隨從去給匈奴的右賢王牧羊。
張騫不甘心失敗，一直想逃走。有一天，他和堂邑父等幾個人商量好，等匈奴看守放鬆警惕的時候，偷了幾匹駱駝和駿馬，向西逃去。大漠一望無邊，沒有食物和水，張騫等人又渴又餓，一連走了十幾天，累得都走不動了。在大家幾乎絕望的時候，終於到了一個水草豐美的地方，而且有很多鳥兒和野獸，這時候，堂邑父使出看家本領，箭無虛發，射中很多鳥獸，大夥就生吃了。
翻過蔥嶺，他們來到了大宛國。這裏風樂獨特，人也都是高鼻梁、藍眼睛、大胡子，跟漢朝完全不一樣。聽說張騫從漢朝來，都非常羨慕，“漢朝又大又美麗，有很多人，是吧？”他們一邊詢問，一邊拿出酒肉招待貴賓。
大宛國王早就聽說東方有一個神奇的國家，金銀財寶多得用不完，很想和漢朝來往，一聽說漢使來了，當然很高興。張騫舉著使節，對大宛王說：“我奉漢朝皇帝的命令，出使月氏國，中途被匈奴人扣留，現在來到貴國，如果大王能派人把我們送到月氏國去，我們漢朝皇帝一定會重重的感謝你們的。”大宛國王說：“當然可以。這兒到月氏國，還要經過康居國，漢使盡可放心，我派騎兵和翻譯把你們送去就是了。”
張騫等人到了康居後，康居王也很熱情，又派人把他們送到月氏國。再說月氏國，自從被匈奴打敗後，向西逃到蔥嶺，聯合大夏國建立了一個國家，叫做大月氏國。這些年來，他們無憂無慮，種地放羊，生活很美滿，時間一長，就把報仇的事給忘了。張騫見到月氏國王後，表明自己的來意，勸他和漢朝聯合對付匈奴。可是，月氏人總是借口路太遠、力量不夠來岔開話題，張騫感到很失望。
過了一年多，張騫看到還是不能達到目的，就決定回去了。又吃了不少苦，終於回到了長安。盡管沒有完成預期的任務，漢武帝還是非常高興地重賞了他們。
可是，這次失敗的西行，其曆史意義卻是深遠重大的。中國和西亞、歐洲的經濟、文化交流極大地發展起來，此後形成的絲綢之路也一直是航海事業沒有發達以前東西方最重要的商業通道。