衛青、霍去病打敗匈奴以後，雙方停戰了幾年。這時，匈奴已經失去大規模進犯中原的實力，於是表示要和漢朝和好，實際上還是想借機進犯中原。
公元前100年，匈奴覺察出漢朝又有出兵的跡象，便派使者來求和，還把漢朝的使者都放回來了。漢武帝為了答複匈奴的善意，派中郎將蘇武持旌節，帶著副手張勝和隨員常惠，出使匈奴。
蘇武到了匈奴，送回漢朝以前扣留的匈奴使者，獻上禮物。在等單於寫個回信讓他回去的時候，發生了一件意外的事兒。
原來，以前有個漢人使者叫衛律，在出使匈奴後投降了匈奴。單於特別器重他，封他為王。
衛律有一個部下叫虞常，對衛律很不滿，他跟蘇武的副手張勝是故友，虞常和張勝在匈奴見了麵，就暗地跟張勝商量，想殺了衛律，再劫持單於的母親，逃回中原去。由於虞常辦事不夠嚴密，泄露了計劃，被單於抓起來，交給衛律去審問。
事情發生後，張勝害怕了，才把虞常跟他密謀的經過告訴了蘇武。
衛律審問虞常，用盡了各種酷刑。虞常經受不住折磨，把和張勝密謀的事供了出來。因為張勝是蘇武的副使，單於命令衛律去叫蘇武來受審。
蘇武對常惠等人說：“我們這次出使匈奴，是為了漢朝與匈奴和好。如今我出庭去受審，使漢朝受到侮辱，我還有什麼臉麵回到漢朝去呢？”說著，拔出佩刀向自己身上砍去。衛律急忙把他抱住，可是蘇武已經把自己砍成了重傷，血流如注，暈過去了。
單於暗暗佩服蘇武是個有骨氣的人，他希望蘇武能夠投降，像衛律一樣為他效勞。他每天都派人來問候蘇武，想要軟化蘇武，勸他投降。
後來，衛律奉單於之命，用盡了威脅利誘的手段，都不能使蘇武投降，就隻好回報單於。單於聽說蘇武這樣堅定，便更希望蘇武投降。
他下令把蘇武關在一個大地窖裏，不給飯吃，不給水喝，想用饑餓來迫使蘇武投降。但是，意誌堅強的蘇武卻毫不動搖。
匈奴單於實在拿蘇武沒有辦法，就隻好命令把蘇武送到北海邊上（前蘇聯西伯利亞貝加爾湖一帶）去牧羊。單於對蘇武說：“等公羊生了小羊，就送你回漢朝去！”公羊怎麼能生小羊呢？單於的意思很明白，他是決意不放蘇武回漢朝了。
北海這個地方，終年白雪皚皚，荒無人煙，連鳥獸也很稀少。蘇武餓了，就掘取野鼠洞裏的草籽來充饑。過了不久，單於又派人來勸蘇武投降，蘇武依舊堅決地予以拒絕。
每天，蘇武一麵牧羊，一麵撫摸著出使時漢武帝親手交給他的旌節。日子長了，旌節上的毛都脫落了，蘇武還是緊緊地抱著那根光禿禿的旌節，艱苦地度過了漫長的歲月。
一直到了公元前85年，匈奴單於死了，匈奴發生了內亂，分成三個國家。這時候，漢武帝已經死了，他的兒子漢昭帝即位。漢昭帝派使者到匈奴打聽蘇武的消息，匈奴謊稱蘇武死了，漢朝使者也就相信了。
後來，漢使者又去匈奴，蘇武的隨從常惠當時還在匈奴。他買通匈奴人，私下和漢使者見了麵，把蘇武在北海牧羊的情況告訴了使者。使者又驚又喜，他想出一個主意，見了單於，他嚴厲地責備說：“匈奴既然有心同漢朝和好，就不應該欺騙漢朝。我們皇上在禦花園裏射下一隻大雁，雁腳上拴著一條綢子，上麵寫著蘇武還活著，而且在北海牧羊，你怎麼說死了呢？”
單於聽了，嚇了一跳，他還真的以為蘇武的忠義感動了飛鳥，連大雁都代他傳達消息呢。他向使者邊道歉邊說：“蘇武確實還活著，我們馬上就放他回去。”
蘇武到匈奴的時候才40歲，在匈奴遭受了19年的摧殘折磨，胡須、頭發全白了。回到長安的那天，長安的百姓都出來迎接他。他們看見白胡須、白頭發的蘇武，手裏還拿著光禿禿的旌節，沒有一個不受感動，說他真是個有氣節的大丈夫。