天漢元年（前100年）匈奴勾黎湖單於去世，他弟弟且鞮侯即位後，害怕漢朝趁他立足未穩發兵，決定與漢交好，並放回扣押在匈奴的漢朝使者，漢武帝召見回來的漢使路充國，問明情況，又召見隨來的匈奴使者，閱讀了匈奴單於且鞮侯的信，且鞮侯非常謙卑，自稱：“我乃兒子，怎敢敵漢？漢天子是我丈人。”漢武帝非常高興，因多年征戰使國力減弱，也決定與匈奴修好。於是派蘇武、張勝、常惠及百餘名兵役一起出使匈奴。到匈奴後，蘇武送上禮物和漢武帝的信，又送還了扣留在漢朝的匈奴使者，蘇武慎重地把一切公事交割完畢，一切順利，估計不久就可以回去。誰知竟發生了意外，蘇武被扣留。
原來，蘇武沒到匈奴之前，有個漢人叫衛律，在出使匈奴後投降了匈奴。單於特別重用他，封他為王。衛律有一個部下叫作虞常，對衛律很不滿意。虞常在漢的時候，一向與副使張勝有交往，私下拜訪張勝，說：“聽說漢天子很怨恨衛律，我虞常能為漢廷埋伏弩弓將他射死。我的母親與弟弟都在漢，希望受到漢廷的照顧。”張勝許諾了他，把財物送給了虞常。虞常想暗地殺了衛律，劫持單於的母親，逃回中原去。沒想到虞常的計劃沒成功，反而被匈奴人逮住了。單於大怒，叫衛律審問虞常，還要查問出同謀的人來。
蘇武本來不知道這件事。到了這時候，張勝怕受到牽連，才告訴蘇武。蘇武說：“事情已經到這個地步，一定會牽連到我。如果讓人家審問以後再死，不是更給朝廷丟臉嗎？”說罷，就拔出刀來要自殺。張勝和隨員常惠眼快，奪去他手裏的刀，把他勸住了。
虞常受盡種種刑罰，隻得承認跟張勝是同謀。衛律向單於報告。單於大怒，想殺死蘇武，被大臣勸阻了，單於又叫衛律去逼迫蘇武投降。蘇武一聽衛律叫他投降，就說：“喪失氣節、玷辱使命，即使活著，還有什麼臉麵回到漢廷去呢！”說著拔出佩帶的刀自刎，衛律大吃一驚，抱住蘇武，派人騎快馬去找醫生。醫生在地上挖一個坑，在坑中點燃微火，然後把蘇武臉朝下放在坑上，輕輕地敲打他的背部，讓淤血流出來。蘇武本來已經斷了氣，這樣過了好半天才重新呼吸。常惠等人哭泣著，用車子把蘇武拉回營帳。單於欽佩蘇武的節操，早晚派人探望、詢問蘇武，而把張勝逮捕監禁起來。
單於覺得蘇武是個有氣節的好漢，十分欽佩他。等蘇武傷痊愈了，單於又想逼蘇武投降。單於派衛律審問虞常，讓蘇武在旁邊聽著。衛律先把虞常定了死罪，殺了；接著，又舉劍威脅張勝，張勝貪生怕死，投降了。衛律對蘇武說：“你的副手有罪，你也得連坐。”蘇武說：“我既沒有跟他同謀，又不是他的親屬，為什麼要連坐？”衛律又舉起劍威脅蘇武，蘇武不動聲色。衛律沒法，隻好把舉起的劍放下來，勸蘇武說：“我也是不得已才投降匈奴的，單於待我好，封我為王，給我幾萬名的兵和滿山的牛羊，享盡富貴榮華。先生如果能夠投降匈奴，明天也跟我一樣，何必白白送掉性命呢？”蘇武怒氣衝衝地站起來，說：“衛律！你是漢人的兒子，做了漢朝的臣下。你忘恩負義，背叛了父母，背叛了朝廷，厚顏無恥地做了漢奸，還有什麼臉來和我說話。我決不會投降，怎麼逼我也沒有用。”衛律碰了一鼻子灰，向單於報告。單於惱羞成怒，想用長期折磨的辦法，逼他屈服。
最初，單於派人向蘇武遊說，許以豐厚的俸祿和高官，蘇武嚴辭拒絕了。匈奴見勸說沒有用，就決定用殘酷的方法。當時正值嚴冬，天上下著鵝毛大雪。單於命人把蘇武關入一個露天的大地窖，斷絕提供食品和水，希望這樣可以改變蘇武的信念。時間一天天過去，蘇武在地窖裏受盡了折磨。渴了，他就吃一把雪，餓了，就嚼身上穿的羊皮襖。過了好幾天，單於見瀕臨死亡的蘇武仍然沒有屈服的表示，隻好把蘇武放出來了。
單於見無論軟的還是硬的，勸說蘇武投降都沒有希望，越發敬重蘇武的氣節，不忍心殺蘇武，但又不想讓他返回自己的國家。於是決定把蘇武流放到北海（西伯利亞的貝加爾湖一帶），讓他去牧羊。臨行前，單於召見蘇武說：“既然你不投降，那我就讓你去放羊，什麼時候公羊生了羊羔，我就讓你回到中原去。”單於這樣是想永遠不讓蘇武回去。蘇武的副手常惠也不肯投降，於是，被罰做苦役。