果不其然，且鞮侯單於順藤摸瓜，很快查到使團頭上，將所有漢使逮捕下獄，指定衛律審理此案。衛律原本是定居在中國的匈奴人，與李延年（音樂家，李廣利兄弟）是好朋友。李延年後來犯了事被處死，衛律怕受牽連，便逃回匈奴，被封為丁靈王。
衛律九死一生逃出中國，一心想報複，企圖挑撥漢、匈兩國矛盾，全麵挑起事端，點燃戰爭導火索。故而他對蘇武等人窮追猛打，欲迫使他承認漢使團乃是政變的主謀。
要知道使團乃是代表國家，代表朝廷，代表皇帝，怎麼能給國家、朝廷抹黑呢？其實衛律心裏有數，虞常被捕後供出副使張勝參與此事，而蘇武等其他人並不知情。但衛律有自己的算盤，想把事情鬧大，把責任推給整個使團，進而推給大漢政府，為升級兩國戰爭尋機借口。
蘇武當然不承認衛律的指控，他寧死不屈。人爭一口氣，堂堂大漢使節與其受辱，不若自行了斷。他又一次拔出刀，衛律還沒來得及奪下，刀便插入腹部。所幸刺得不深，好歹保住一條性命。
蘇武的身體漸漸恢複後，衛律開始新一輪的心理攻勢。他將蘇武及其他使團成員帶到營帳內，將虞常押上來，當著眾人的麵，將他斬首，一顆血淋淋的人頭滾落在地上，令人不寒而栗。
衛律威嚇蘇武說：“副使張勝參與謀反重罪，你作為正使，也須連坐。”
蘇武冷冷答道：“我跟他既無相謀，也非親屬，他犯罪，我為什麼要連坐？”
衛律惱羞成怒道：“我以前逃離中國投靠匈奴，受單於重用，封為丁靈王，擁眾數萬，馬畜滿山，也算是富貴了。你若肯投降，便能享榮華富貴。否則，身體腐爛在草野之上，誰又能知道呢？”
蘇武怒斥道：“你本是中國臣子，背信棄義，投降到蠻夷之地。單於信任你，讓你審理此案，你掌握生殺大權，卻不能公正處理，扣押漢使，施予威脅，企圖挑起漢、匈兩國的戰爭。南越擅殺漢使，國家被屠滅；大宛王截殺漢使，首級懸掛在長安北門；朝鮮擊殺漢使，遭滅國之災。你明知我不會投降，不過是為達到你個人報複的目的，匈奴就要大禍臨頭了！”
麵對蘇武錚錚鐵骨，衛律無計可施，隻得交給匈奴單於處置。
為摧毀蘇武的意誌，且鞮侯單於將他囚禁在冰冷的地窖中，不提供水和糧食。寒冷、孤獨、饑餓一齊襲來。蘇武飲冰噬雪，以皮衣上的毛皮充饑。幾天後，單於料想蘇武已是奄奄一息，意誌力被擊垮。當地窖大門打開時，出乎所有人意料，蘇武雖瘦削許多，但目光仍是那麼沉毅有神，手臂還牢牢地握著符節，頑強地站立著，凜然不可侵。
那一刻，單於感到自己在一場決鬥中被打敗。但是他還不甘心，因為他還掌握著生殺大權。單於下令將蘇武流放到荒涼無比的北海（貝加爾湖）去放牧公羊，並說：“等到公羊生小羊的那一天，你才可以回到中國。”
蘇武從此被囚於北海，與冰雪為伴。
除了蘇武，常惠等人在萬般利誘與威脅下，也錚錚鐵骨，堅決拒絕投降，表現出漢使的崇高氣節。倒是副使張勝成事不足，敗事有餘，貪生怕死，變節投降了。
蘇武在寒冷的北海湖畔度過了十九個年頭！
北海是荒涼之地，也是流放犯人的地方，糧食經常無法按時供應，蘇武就在野地裏挖掘老鼠洞，以野鼠充饑，就這樣飽一頓，饑一頓的。但無論走到哪裏，那支代表漢使身份的符節，始終沒有離身，符節上的旄毛早已全部脫落，光禿禿的。
歲月的滄桑，磨不去蘇武的節操與信念；思鄉的渴望，霜白了他的鬢發；寒冷與荒涼，驅不散他內心熱火般的激情。
在這裏，他沒有朋友，直到李陵的到來。
李陵與蘇武曾同為侍中，共事多年，交往甚密。自兵敗投降匈奴後，李陵知道蘇武被流放，心中掛念，卻沒有臉麵前來相見。直到十餘年後，匈奴單於派他到北海勸降蘇武，李陵才硬著頭皮前往。
李陵擺下酒筵，與蘇武對飲。飲酒過半，李陵歎了口氣，對蘇武說：“子卿（蘇武的字）兄，沒想到十餘年前，長安城一別，竟然是在此相見。我來之時，聽說令母已經仙逝，你的兩個弟弟蘇嘉與蘇賢，幾年前都因為受一些事的牽連而自殺身亡。子卿兄的媳婦，聽說已經改嫁他人了。家裏還有兩個妹妹、兩個女兒與一個兒子，現在也生死未明。”
自從被囚禁以來，蘇武對家鄉之事，一無所知，突然從李陵口中得知這麼多噩耗，不由得心中大悲。李陵又說：“人生短促，就像朝露一樣，子卿兄何必折磨自己？當初我兵敗投降，內心狂亂恍惚，既痛心愧對國家朝廷，又牽掛著被收監的妻兒老母。我不想投降匈奴之心，恐怕不亞於子卿兄。不想皇帝聽信讒言，殺我全家，致使李陵肝膽俱裂，萬念俱灰。如今皇帝年事已高，法令無常，大臣無罪被夷滅全族的多達數十家（公孫敖、公孫賀、劉屈氂、李廣利、趙破奴等），連太子與皇後都不能免。子卿兄啊，你卻在這裏受盡苦難十餘年，為的是誰啊？”