因為當時匈奴還很強大，河西走廊仍然不安全，劉徹原本打算走經過東南亞、南亞的“身毒線”，而且特意把張騫派往夜郎國去做準備，但因為滇國的阻撓，最終沒能成功。劉徹考慮到時機不成熟，就暫時放棄了打通西域商道的計劃，召回張騫，讓他做大將衛青的向導去攻打匈奴，以發揮他熟悉匈奴情況的特長。
張騫在討伐匈奴的戰爭中最初立下大功，但後來因為出兵遲到，受到劉徹的撤職處分。不過劉徹仍然沒有忘記張騫出使西域的功勞和能力，也依舊念念不忘打通西域商道的構想。
元狩四年（前119），漢武帝再度召見張騫，聽取他對打通西域的意見。
張騫上次出使西域時，在匈奴聽說過西域大國——烏孫國的傳說，這個國家位於今天伊犁河和巴爾喀什湖一帶，國王的名號叫“昆彌”，和匈奴矛盾很大，對商業有濃厚興趣。張騫認為，如果能通過發展和烏孫的商業往來，進而與這個西域大國和親，就可以切斷匈奴的右臂，而且在西域各國中，烏孫國力強、地理位置優越，如果漢朝和烏孫能夠通商、友好，對其他小國會起到良好的示範作用。
劉徹對這一建議十分欣賞，就任命張騫為中郎將，專門負責這次烏孫之行。
劉徹考慮十分周到，他為張騫配備了多達三百人的隨行隊伍，每個人都配了兩匹馬輪流騎乘，並讓他們隨身攜帶金銀、絲綢等許多珍貴的商品和禮物，還指定了許多“副使”，這樣，張騫一旦抵達烏孫，就可以派遣副使分頭出訪許多國家，起到事半功倍的效果。
這時候，河西走廊的形勢已經發生了很大的變化，匈奴部落已經被趕走，因此張騫一行很順利地通過這裏，平安無事地抵達了烏孫國。
按照史書記載，烏孫國離長安的距離長達八千九百裏，是一個戶口十二萬、人口六十三萬，兵力號稱十八萬八千的強大國家。他們並不了解漢朝到底有多強大，僅僅是垂涎張騫帶來的商品和禮物，才用友好的態度接待。
張騫並沒能和烏孫國締結軍事同盟，但畢竟爭取到對方同意通商，還受到了烏孫國昆彌回贈給劉徹的禮物，算是不虛此行。不僅如此，劉徹為張騫配備的副使，起到了出乎意料的巨大作用，這些副使在烏孫當地聘請了向導、翻譯，分頭出使許多國家，這些國家對副使們帶去的絲綢等東方特產十分新奇，都願意和漢朝做生意。
張騫本人在漢武帝元鼎二年（前115）回到長安，帶回來西域寶馬、各種特產和隨行訪問的西域各國使者。劉徹非常滿意張騫的表現，任命他為“大行”（相當於外交部長）。
張騫兩次出使西域，十分辛勞，回國後第二年就去世了。他派遣的副使，有不少在他去世後很多年才完成使命回國，最遠的副使一直走到安息（今伊朗）和身毒（今印度）。
平心而論，劉徹和張騫最初的想法，是在西域各國中找到對付匈奴的盟友，這個目的其實一直也沒有達到。相反，打通東西方商道，原本隻是一個次要目的，結果卻取得了意想不到的巨大成功，並產生了深遠影響。
因為劉徹讓張騫兩次出使西域，徹底打通了東西方交流的通道，中國和西方的貿易、文化交往就此大規模展開。漢朝出產的絲綢、鐵器、工藝品源源運往中亞、西亞，並從那裏輾轉貿易到歐洲，而當地的特產，像葡萄、苜蓿、胡蘿卜、核桃、菠菜、黃瓜、石榴，以及琵琶、箜篌等樂器，也陸續傳入中原地區。今天我們把琵琶、箜篌等樂器稱為“民族樂器”，其實它們原本是地地道道的“外國貨”，因為劉徹、張騫的功勞，才從國外傳進中國，並慢慢演變成中國傳統文化的一部分。因為中國輸出的產品中，數量最大、也最著名的是絲綢製品，因此，這條商路後來就被稱為“絲綢之路”，成為東西方交流的重要紐帶。這，或許就是俗話說的“有心栽花花不開，無心插柳柳成蔭”吧？
多知道點
絲綢之路
所謂絲綢之路，就是從盛產絲綢的中國穿越當時交通不便、經濟文化也不很發達的一些地區，通往同樣是古代世界經濟文化中心的地中海沿岸的商路。商路並非隻有一條，而是有很多條。最北方的，是從長安經過河西走廊進入今天新疆，然後分為南、北兩條線路繞過茫茫的塔克拉瑪幹沙漠進入中亞地區，再從這裏通往地中海沿岸；南線則是從長安向南經過四川、雲南，再向西經今天的緬甸、印度、巴基斯坦，通往西亞和歐洲；除此之外，還有一條從海路繞過中南半島、馬六甲海峽，通往印度、西亞的“海上絲綢之路”。由於航海技術的發展比較緩慢，最初起更大作用的，主要是陸上的商道，其中又以北線最為重要。為什麼會這樣呢？因為南線要翻越崇山峻嶺，而且氣候條件惡劣，運輸能力受到很大限製。北線地勢平坦，更便於大宗商隊的通行和物資交流。