古時候，人們習慣上把黃河中下遊地區由漢族人控製的地方叫做中國，而把四周圍的少數民族稱為夷狄。漢族人的中國經常跟少數民族的夷狄發生矛盾，有時候是夷狄來掠奪漢族的糧食和其他財富；有時候是漢族想去征服夷狄，大大小小的戰爭接連不斷地發生。秦漢時期，夷狄中最強大的、使漢族人最感頭痛的是匈奴。
秦始皇在位的時候，大將蒙恬花了很大力氣，把匈奴逐出河套地區，使得匈奴在很長一段時間無力南下。到秦末陳勝吳廣起義和楚漢相爭的時候，匈奴又逐漸地強盛起來。匈奴的領袖稱單於，到冒頓單於的時候，匈奴往東滅亡了東胡族，勢力發展到現今內蒙古自治區的東部；西邊趕走了月氏國，勢力擴展到現今的新疆和新疆以西地區；西北和北邊征服了烏孫等小國和部落，勢力到達中亞東部和西伯利亞一帶；南邊又控製了河套地區，到達現今的陝西和山西北部。
漢朝建立以後，漢高祖曾經想要解決匈奴的問題，他於當皇帝的第3年（公元前200年）親自率領步兵32萬北上迎擊匈奴，因為中了埋伏，在白登山（今山西大同市東南)被圍困了7天7夜，險些做了俘虜。突圍脫險以後，漢高祖認為漢朝正處在戰亂之後，力量薄弱，一時還對付不了匈奴，就采取和親政策，把漢朝宗室的女兒嫁給匈奴單於，每年還送給匈許多綢緞和美酒，並且和匈奴結為兄弟之邦。以後，漢惠帝、呂後、漢文帝和漢景帝在位的時候，都一直實行這種委曲求全的和親政策，來求得跟匈奴的和好。可是匈奴單於並不滿足，他們還是經常地派騎兵來騷擾漢族地區，掠走人民，搶走牲畜、糧食和其他物資，使北方一些地方的農業生產受到嚴重破壞。
漢武帝即位之初，表麵上還在維持跟匈奴和好的關係，給匈奴送去優厚的禮物，實際上由於國力充足，已經在積極準備用武力征討匈奴。元光二年，漢武帝派大將朝韓安國、李廣、公孫賀、王恢、李息等5人，率領30萬兵馬，搞了個“馬邑之謀”，就是把兵馬埋伏在馬邑(今山西省朔縣)城外的山穀中，然後派馬邑人聶翁壹假裝到匈奴去投降，願意把馬邑城出賣給匈奴。匈奴單於貪圖馬邑城的財富，真的率領10萬騎兵跟來了，可是當他們進軍到武州邊塞(今山西省左雲縣）的時候，看到草地上布滿了牛羊而沒有人放牧，就產生了懷疑，再仔細一觀察，發覺漢朝設有埋伏，就半路退兵回去，沒有中計。從此以後，漢朝和匈奴就完全斷絕了關係，大規模的戰爭也隨著開始了。
漢武帝在布置“馬邑之謀”以前，為了征討匈奴更有把握，詳細詢問了一些投降過來的匈奴人。這些匈奴人說：“冒頓單於統一匈奴各部以後，曾經打敗了月氏國，把月氏王的腦袋砍下來當作酒杯。月氏國被迫西遷到西域。月氏人恨透了匈奴，可惜沒有人幫助他們，要是有人幫助，他們準能跟匈奴拚個你死我活。”
漢武帝知道了這個情況，心想：月氏和匈奴有如此深的仇恨，我正好去聯絡他們，共同攻打匈奴。月氏在匈奴的西邊，要是能跟月氏聯絡上，等於斬斷了匈奴的右臂，勝利就大有把握了。於是漢武帝下了一道詔書，招募精明強幹的人出使到西域去聯絡月氏。
月氏既然在匈奴的西邊，要到月氏去必須經過匈奴。膽小的人聽到這樣的使命，嚇得縮頭吐舌，哪裏敢來應征？
有個叫張騫的小夥子，膽子特別大。他認為打匈奴是為了漢朝的安全，出使月氏是很有意義的事情，即使要冒點風險，也是應當的。他就報了名，表示願意應征到月氏去。
漢武帝建元三年（公元前138年也就是“馬邑之謀”前5年，漢武帝正式任命張騫為使者，讓他帶了堂邑父當翻譯，還有其他應征的人，組成了100多人的隊伍，從隴西(今甘肅省臨洮縣）出發，到西域去聯絡月氏國。他們一出隴西，就碰上了許多匈奴人，雙方打起來了。因為寡不敵眾，張騫和他帶領的100多人都被俘擄了。匈奴單於聽說張騫是到月氏國去的，他生氣地說：“月氏國在我們匈奴西邊，我不同意你們通過我的地方到月氏國去。”單於把張騫軟禁起來，不過對他很是優待，還送給他一個匈奴女人陪伴他，讓他在匈奴享樂。可是張騫心裏還一直懷念著自己的父母之邦漢朝。他把漢武帝交給他的出使證明，偷偷地保存著，等待機會逃走。
過了幾年，張騫和堂邑父兩人終於找到了機會，弄到兩匹好馬，偷偷逃出匈奴，繼續往西出發。他們一連走了幾十天，一路上盡是沙漠和草原，找不到人家，也找不到食物和水。虧得堂邑父箭法高超，餓急了，就射些飛鳥和野獸來充饑。他們走著走著，終於到了一個人多的熱鬧地方。看看那裏的人鼻子高高的，眼睛藍藍的，他們以為那就是月氏國了，等到一打聽，才知道那個國家不是月氏，是叫大宛。
大宛國國王早聽說過東南方有一個又大又富庶的漢朝，他老早就想跟漢朝拉關係，卻找不到門路，這次看到張騫，高興極了，趕快拿出肥羊美酒來招待張騫。張騫先向大宛王說明了出使西域的任務，然後說：“要是您能派人護送我到月氏去，將來我回到漢朝以後，一定請漢朝皇帝用許多金銀財寶來酬謝您。”