公元前100年，匈奴新立的單於派使者帶來書信，表示兩家要永遠和好，並放回以前扣留的漢使。為了答複匈奴的好意，漢武帝派了出身於將門的蘇武為大使，拿了使節(就是當時表示使臣的憑信，用竹杖和牛尾做成)出使匈奴，並送還以往漢朝扣留的匈奴使臣。跟隨蘇武前往的，有副使張勝、隨員常惠等一百多人。
蘇武在匈奴辦完事情、準備回來時，發生了一件意想不到的事：
早在蘇武出使匈奴之前，漢朝有一個叫衛律的使臣，投降匈奴後被封為丁靈王，得以重用，他手下有一個人叫虞常，不願跟衛律一起在匈奴生活，想殺死衛律後再回漢朝去，蘇武到匈奴後，同去的副使張勝是虞常早年的朋友，虞常便和張勝商量，準備殺掉衛律，然後劫持單於的母親歸漢，這件事被人告發，虞常被單於抓捕，張勝非常害怕，隻好把事情的經過告訴蘇武，蘇武急得說：“這件事肯定會連累到我，如被審訊，會使國家受侮辱。”說著要自殺，被旁人拉住。後來，匈奴單於命衛律召蘇武受審，蘇武對他的跟從常惠說：“事情到了這個地步，為了免受汙辱，還是死了的好！”說罷拔刀自殺，頓時身受重傷，經搶救總算沒有死。
匈奴單於對蘇武非常欽佩，要衛律設法讓他投降，衛律用武力威脅，用富貴勸誘，想盡一切辦法都不能使蘇武投降，結果反被蘇武痛罵了一頓。
匈奴單於知道後，對蘇武更加敬重，越發想使他投降。他下令把蘇武關在一個陰暗的地窖中，不給吃喝，企圖用饑餓和寒冷迫使他投降，但蘇武毫不動搖，他吃融化的雨雪，吞咽睡覺用的氈子，四五天過去，仍然活得很好。單於見他幾天都沒有餓死，非常驚奇，就把他放出來，送到荒無人煙的北海去放羊。單於給了蘇武一群公羊，對蘇武說：“什麼時候這些羊生了小羊羔，你就可以回長安了。”蘇武在這樣荒涼寒冷的地方放羊，糧食不夠了，就捉野鼠和挖草籽充饑。他始終不忘漢朝，牧羊時手裏拿著漢朝的使節，盡管使節上的牛尾全部脫落了，蘇武就是不肯屈服。後來，匈奴單於又派來蘇武早年的好友，已經投降匈奴的李陵前來勸降，蘇武還是堅決拒絕了。
就這樣，蘇武被匈奴扣留了十九年，直到後來匈奴和漢朝和好，他才被放了回來。了壯年出使，歸來時頭發、胡須已全白了。當初一百多人同往匈奴，跟他回來的已經隻剩下常惠等九人了。蘇武當年出使匈奴時的使節還一直握在他的手中，親自交還漢武帝。漢武帝非常感動，封他為典屬國(掌管少數民族事務的官員)，以表彰他的功績。
蘇武那威武不屈，堅韌不拔的性格的崇高的愛國主義精神，將永遠載入曆史史冊。