蘇武是西漢前將軍、平陵侯蘇建的兒子。漢武帝天漢元年，匈奴單於為與漢和好，遣還了被扣留的漢使。作為回報，蘇武以中郎將的身份，護送拘留在漢的匈奴使臣歸胡。
在匈奴期間，蘇武的手下張勝，擅自參與了投降匈奴的長水校尉虞常劫持單於之母到漢的案子。沒想到虞常的計劃沒成功，反而被匈奴人抓了個正著。單於大怒，叫衛律審問虞常，還要查問出同謀的人來。
蘇武本來不知道這件事。到了這時候，張勝怕受到牽連，才告訴蘇武。
蘇武說：“事情已經到這個地步，一定會牽連到我。如果讓人家審問以後再死，不是更給朝廷丟臉嗎？”說罷，就拔出刀來要自殺。張勝和隨員常惠眼快，奪去他手裏的刀，把他勸住了。
虞常受盡種種刑罰，隻承認跟張勝是朋友，說過話，拚死也不承認跟他同謀。
衛律向單於報告。單於大怒，想殺死蘇武，被大臣勸阻了，單於又叫衛律去逼迫蘇武投降。
蘇武一聽衛律叫他投降，就說：“我是漢朝的使者，如果違背了使命，喪失了氣節，活下去還有什麼臉見人。”又拔出刀來準備自盡。
衛律大吃一驚，親自抱起蘇武，急忙召喚醫生，進行搶救，半天才慢慢活過來。匈奴的首領，非常欽佩他的節操，日夜派人去問候蘇武，並用貴爵重祿尊位來誘惑他，但蘇武始終不肯屈服。蘇武漸漸病愈了，單於宣布要將蘇武和虞常一起判決，想以此再威迫蘇武投降。衛律劍斬虞常後，說：“漢使張勝，妄圖謀害我，當判死罪。但如能投降，單於還是可以赦免他的罪。”就舉劍要斬張勝。張勝怕死，就投降了。
衛律接著對蘇武說：“副使有罪，你當連坐治罪。”蘇武義正詞嚴地斥責說：“我根本沒有參與這件事，和他又不是親屬，有什麼連坐罪可言？”衛律氣勢洶洶地舉起劍，做出一副要砍蘇武的樣子，但蘇武視死如歸，麵不改色。
衛律沒有辦法，隻得又裝出笑臉說：“我背棄漢朝，歸順匈奴後，幸蒙單於大恩，賜號稱王，擁有數萬奴隸，牲畜滿山遍野，享受榮華富貴，你今日要是投降，明日還不也和我一個樣子！如你白白犧牲自己，又有誰知道？屍體早晚化作草地裏的肥料！”衛律見蘇武根本不理睬他，又利誘又威脅地說：“你如果聽我話投降匈奴，我可與你結為兄弟；如你今天不聽我的話，以後你再想見我，可就沒有機會了。”這時，蘇武憤怒地站了起來，橫眉怒目地說：“你身為朝廷官員，卻背叛朝廷和父母親人，成為投降外族的俘虜，我再見你這樣的人幹什麼？而且單於信任你，把判決生死的大權交給你，你不但不公平地來審理，反而想使兩國君主互相爭鬥，你好坐收漁人之利。你明明知道，我是根本不會投降匈奴的，但還要使兩國相鬥，匈奴敗亡的災禍，將要從我蘇武之死開始了。”
衛律知道蘇武已不可能投降，告訴單於後，便把蘇武囚禁在一個藏糧食的空窖裏，斷絕供給飲食。等到下大雪的時候，蘇武睡臥在窖裏，吃雪止渴並用雪來吞咽氈毛充饑，就這樣過了好幾天，居然撐下來保全了性命。匈奴人很奇怪，都認為他有神的保佑。因此，又把他遷移到北海（今貝加爾湖）沒有人煙的地方，讓他放牧公羊。並宣稱隻有等到公羊生子的時候，才能回國。北海是個荒無人煙的地方，人要想在那生存是極其困難的。蘇武隻好用野鼠穴內藏的草籽勉強維持生命。
蘇武牧羊時，手中始終拿著漢節——漢朝使臣所持的信物，就是睡覺的時候，也緊緊地握在手中。以至節上所綴的犛牛尾飾物，也都脫盡了。
蘇武在匈奴被流放了長達十九年。昭帝即位後，匈奴與漢和親。漢朝聽說蘇武還活著，就派使者向匈奴要求把蘇武放還。匈奴也敬佩蘇武的節義，終於把他釋放了。蘇武出使的時候，還年輕力壯；而返回漢朝時，須發都白了。
簡評
在蘇武牧羊的故事裏，蘇武和衛律是一正一反兩個主角，在後者的襯托下蘇武忠貞、重信的人格得到突出。蘇武為了不辱使命，在荒蕪之境一呆就是十九年，而且是人一生中最耀眼的年華。這個有些固執的老實人的故事流傳了千百年，代表了中國傳統美德中的忠信。