武帝元朔六年（公元前123年），張騫以校尉的身份跟隨大將軍衛青攻打匈奴。張騫知道哪兒水草豐美，因而能使軍隊不受水源的困乏，張騫因此被提升為博望侯。次年，張騫擔任衛尉，與大將李廣一起率兵攻打匈奴，不料被匈奴的重兵包圍，李廣的部隊損失慘重，張騫因耽誤了時間未能及時救援，被朝廷判為斬刑，家人後來花了贖金才保住性命，成為平民。在接下來的幾年中，武帝連續派遣大將軍衛青、霍去病率強兵攻打匈奴，把匈奴的軍隊擊退到大沙漠以北的地方。
張騫雖然已是一介平民，但武帝仍然經常向他詢問有關北方民族部落的事。張騫便對武帝說：“我在匈奴的時候，聽說過烏孫國國王昆莫的事。昆莫的父親曾是匈奴西邊的一個小國的首領，匈奴人攻打了那個小國，殺死了昆莫的父親。昆莫出生才不久，被匈奴騎兵扔在荒野上。但鳥竟然會叼著肉去喂他，狼也會給他喂奶。匈奴單於奇怪極了，認為他是神，就把他收養下來，長大後讓他去領兵作戰，果然立下了多次戰功。單於又把原來屬於昆莫父親的人民和土地歸昆莫治理，讓他守衛在匈奴的西邊。昆莫在那兒安撫百姓，訓練將士，善戰的士卒有幾萬人。匈奴單於死後，昆莫率領著自己的人民遷移到更遠的地方，也不再朝拜匈奴。匈奴曾經派兵攻打，被昆莫打敗，就更認為昆莫是神人，隻能製約他，再也不敢攻打他。我認為，如果我們用豐厚的禮物饋贈烏孫王昆莫，招引他往東遷移，並與漢朝友好，然後再通過他招引更多的北方小國，就能牽製住匈奴，並能招引大夏等更多的北方部落國家，讓他們作為漢朝的外臣屬國。”武帝聽了很感興趣，於是任命張騫為中郎將，率領三百人，隨帶眾多的馬匹、牛羊和錢財布帛作為禮物，前往北方。武帝還特意為張騫配備了很多副使，一旦需要，就可以把他們派往附近的各個北方國家去。
張騫到了烏孫，烏孫王昆莫以接待匈奴單於的規格接待了他，使張騫很惶恐。張騫把從漢朝帶來的禮物送給了他，並把自己這次出使的目的告訴他，說：“烏孫國若能往東遷移居住，漢朝還願意與烏孫國結親。”可這時的昆莫已經年老，由於臣服匈奴的時間過久，對匈奴還有懼怕，不敢往東遷移，何況由於立太子一事，他兒孫們矛盾重重，烏孫國也已一分為三，昆莫也不能對如此重大的事情作決定。但昆莫非常感謝漢朝的好意。
與此同時，張騫已派出各位副使，分赴附近的各個北方國家，如大宛、康居、月氏、安息、身毒、於闐等國。出使任務完成之後，烏孫國特意派出向導和翻譯護送張騫回漢朝，還派出一支頗具規模的使者隊伍，跟隨張騫來到漢朝，拜見武帝，遊覽漢朝，感受漢朝的廣闊和強盛。
張騫回到漢朝後，被武帝任命為大行，官位列於九卿。一年多以後，張騫在長安病逝。
張騫雖已去世了，但漢朝與北方少數民族的交往日益頻繁。烏孫的使者回去之後，向自己的君主興奮而詳盡地稟報，烏孫國與漢朝的關係便愈發密切。張騫派出去的各位副使，回國時都帶來了各個北方國家的使者，這些國家都與漢朝建立了聯係。沒有張騫的努力，這些交往和聯係是不可想象的。所以，以後出使北方及西域的使者都被稱作是博望侯，借此來取信於對方，而北方及西域的國家也因為張騫而更加信任這些使者。