蘇武罵他說：“你身為漢朝臣子，背信棄義，拋棄親人，投降蠻夷異族，我為什麼要見你？單於信任你，讓你決定別人的生死，你不但不公平處理，反而預謀挑撥兩國關係，引發爭端。以前南越國殺了漢使，被漢所滅，成為九郡；大宛王殺了漢使，後來被砍下人頭，掛在長安宮北門；朝鮮殺了漢使，即時被消滅；隻有匈奴還沒這樣做過。你明知我不會投降，卻想借此挑起兩國的戰爭，恐怕匈奴會因為我而受難了。”
衛律知道自己無法讓蘇武歸降，隻得稟報單於。單於聽了，更想讓他歸順，就把他囚禁在一個大地窖裏，不給他食物，以此逼他歸降。當時下著大雪，蘇武躺在地上，把雪和衣服上的氈毛一起吞下去，幾天後竟還活著。
匈奴人迷信他受神靈保護，就把他放逐到北海荒無人煙的地方，讓他放牧公羊，說：“等到公羊能產出羊奶，你就可以回國了。”常惠和其他拒絕歸降的官員也被分別扣押在其他地方。
蘇武被匈奴放逐到北海邊上，沒有糧食供應，就被迫挖野鼠洞裏的草籽充饑。他牧羊的時候手裏總拿著漢朝的符節，起居都帶著它，到後來符節上的毛纓都掉光了。
李陵與蘇武曾一起做過漢朝侍中。李陵投降匈奴以後，不敢和蘇武見麵。過了很久，單於派李陵到北海邊，李陵為蘇武安排了酒宴和歌舞。
李陵對蘇武說：“單於知道我們素來交好，所以派我來勸你。單於願意恭敬地對待你。你不可能再回漢朝了，自己在這裏白白地受苦，在這荒無人煙的地方，又有誰能看見你的忠操義節呢？
“你的兩個兄弟，都因連坐獲罪，已經自殺了；我來的時候，你母親也不幸過世了；你的夫人年紀尚輕，據說也早已改嫁；剩下兩個妹妹、兩個女兒、一個兒子，現在又過了十幾年，是否還在人世還不知道。人生就像早晨的露水一樣短暫，你何必跟自己過不去呢？
“我剛投降的時候，狂躁得快要發瘋了，悔恨愧疚自己背棄漢朝，還連累老母親被囚禁在監獄裏。我比你更不想投降匈奴，何況皇上老了，法令變化無常，大臣無罪而被滅族的有幾十家。自己都顧不了了，你究竟是為誰這樣做呢？”
蘇武說：“我們父子無功無德，蒙皇上厚恩，才有今天的地位。我們兄弟能夠親近皇上，自願為皇上赴湯蹈火。現在可以犧牲生命來報效皇上，就算是遭受斧鉞砍殺、湯鍋烹煮也心甘情願！身為臣子，侍奉君王，就像兒子侍奉父親一樣，兒子為父親死是理所應當之事。你不要再勸我了。”
李陵陪蘇武喝酒喝了好幾天，又勸他說：“子卿，你再聽我一句話。”
李陵與蘇武
蘇武說：“我早已經認定自己是死了的人。大王硬要逼我歸降，就請結束今天的歡聚，我現在就死在你麵前！”
李陵被蘇武的忠義打動，歎著氣說：“唉！你真是義士！我和衛律的罪過，真是上通於天！”說完哭泣，眼淚打濕了衣服，與蘇武分別離去，送給蘇武幾十頭牛羊。
後來，李陵又到北海邊，把漢武帝去世的消息告訴了蘇武。蘇武一連幾個月，每天的早晨和晚上都麵向南方悲哭哀號，甚至吐血。
壺衍鞮單於即位後，他的母親閼氏行為不正，內亂不止，又怕漢軍趁機攻入，於是衛律為單於謀劃，打算與漢朝通婚和親。
漢朝的使者來到匈奴，要求放蘇武等人回國，匈奴謊稱蘇武已死。後來漢使又來匈奴，常惠私下去找漢使，教使者這樣對單於說：“天子在上林苑打獵，射下一隻大雁，腳上係著一封帛書，稱蘇武被放逐在某處湖澤。”
使者非常高興，就拿這話質問單於。單於大吃一驚，環顧左右侍從，然後向漢使道歉，說：“蘇武確實還沒死。”於是把蘇武放回。
李陵為慶祝蘇武被釋放，大擺酒宴，說：“現在你返回漢朝，名聲傳遍匈奴，功勞顯於漢朝，就算是史書裏記載、丹青上刻畫的人物，又怎麼能與你相比？
“我雖然愚笨怯懦，但漢朝當初若不追究我的過錯，保全我的老母，我也能忍辱負重，像春秋的曹劌在柯會盟時那樣，做出劫持齊桓公的壯舉，這一直是我的誌向所在。
“誰知漢朝竟將我滿門抄斬，手段極盡殘暴之能事，我還能再顧念什麼呢？現在一切都過去了，你能了解我的心意就行！”說完李陵淚流滿麵，與蘇武訣別。
單於召集當年隨從蘇武的官屬，除了已經歸降和去世的，與蘇武回漢的共有九9人。抵達長安後，漢昭帝下詔命令蘇武用牛、羊、豬的太牢之禮，到漢武帝的陵廟祭拜。封蘇武為典屬國，品秩中二千石，並賜予蘇武200萬錢、兩頃公田、一處住宅。
蘇武在匈奴被囚禁19年，去的時候正當壯年，回來的時候，頭發、胡子全都白了。
李陵敗降
侍中李陵是李廣的孫子，善於騎馬射箭，待人仁愛，尊重賢士。武帝認為李陵有李廣的風範，就任命他為騎都尉，讓他帶領丹陽郡和楚國的5000人，在酒泉、張掖一帶練習箭功，準備用於抵禦匈奴。
李陵
貳師將軍出擊匈奴時，武帝想讓李陵為貳師將軍帶領輜重部隊。李陵叩頭自己請求說：“我手下的戍邊將士，都是荊楚地方的勇士、奇才、劍客，徒手可擒猛虎，射箭箭無虛發，請允許我自己帶一批兵士，分散單於的兵力，不讓匈奴集中力量對抗貳師將軍的軍隊。”