事情敗露後，張勝擔心與虞常密談的話泄露，受到牽連，就將與虞常的事情告訴了蘇武。蘇武說：“事情已經到了這般時候，你才告訴我，看來我也難以不受到連累，我是代表漢朝出使匈奴的，如果我受到了淩辱，就等於是漢朝的恥辱，辜負了皇帝對我的信任，不如早些死了好。”說完拔劍刺向頸部。常惠等人急忙拉住蘇武，搶下佩劍。虞常在受審時，經受不住衛律的酷刑，不得已說出了張勝。單於聽到漢使張勝參與刺殺活動，大怒，準備殺死張勝和蘇武。匈奴左伊秩訾勸阻說：“處死漢使未免過分了，他們不過是想謀殺衛律，應該讓他們全部投降。”單於命令衛律召見蘇武，說明了單於的旨意，等待蘇武的回答。蘇武說：“我出使匈奴，是為了漢匈和好，如今讓我投降，玷汙了使命，縱然活著，還有什麼臉麵回國呢？！”說完拔出劍向胸膛刺去。衛律大驚失色，急忙上前抱住蘇武。見蘇武已經身受重傷，趕快召來巫醫，進行一番救治。過了很長時間，蘇武才蘇醒過來。常惠等人痛哭著將蘇武抬回營帳。
蘇武忠貞不屈、視死如歸的氣概，單於深感欽佩，更希望能勸降蘇武，為匈奴效命，早晚都讓人去問候，以此軟化蘇武。蘇武恢複健康後，單於命令衛律審問虞常和張勝，並將蘇武帶去聽審，想借機逼降蘇武。在審問中，衛律將虞常當堂殺死，蘇武鎮定自若地說：“隻要你有膽量敢殺漢朝正使，我並不怕死，請殺吧。”
蘇武麵對威脅利誘，始終恪守為臣之道，忠君愛國，保持自己高尚的氣節。所以盡管衛律使盡了各種手段，終未能使蘇武有絲毫動搖，無奈，隻好回報單於。單於聽說蘇武如此堅貞不屈，就越想得到蘇武，於是命人將蘇武關到一個大地窖裏，不給飲食，想以肉體的折磨迫使蘇武屈服。匈奴的氣候很寒冷，北風夾著大雪呼嘯不止。蘇武躺在地窖裏，渴了吃把雪，餓了就吞吃氈毛，居然活了幾天沒有死。蘇武在如此惡劣的環境中，沒有飲食，還能活下來，使匈奴人感到很驚奇，以為蘇武是神派來的。單於對蘇武無可奈何，於是將蘇武流放到北海牧羊，並對蘇武說：“等到公羊下了小羊，就送你回漢朝。”蘇武十分明白單於的用意，是決意不會放自己回漢朝的。
北海是一片原始大地，千裏沒有人煙，氣候異常寒冷，積雪常年覆蓋，鳥獸罕至，蘇武來到北海後，沒有糧食，沒有飲水，餓急了就挖鼠洞，將洞中的草根、野果取出充饑。蘇武手持節杖放羊，晝夜不肯放下象征漢使身份的節杖。時間長了，節杖上的旄、毛全部脫落，蘇武仍然不肯丟掉。就這樣，蘇武伴著節杖和羊群，在這荒無人煙，與世隔絕的北海，度過了艱難漫長的歲月。
蘇武在北海期間，曾經和蘇武在一起做過漢武帝侍中的李陵，投降了匈奴。李陵很想去探望蘇武，又怕單於怪罪，後來單於聽說李陵和蘇武有過交情，就派李陵去北海勸降蘇武。李陵來到北海後，對蘇武說：“單於一直在等待你回心轉意，今生今世你恐怕再難回到漢朝了，在這萬裏荒原之中白白受苦，又有誰知道你的忠義呢？近些年來，皇帝年事已高，總是做出反複無常的事來，大臣中沒有什麼過錯就被滅族的有幾十人，您還為誰效忠呢？希望你能聽我的勸說，不要再推辭了。”蘇武說：“我甘心情願以身報國，如果單於一定要我投降，那麼，我隻有一死示忠心了。”最後，李陵沒有辦法說服蘇武，隻好告別了他，離開北海。
此後，李陵讓妻子給蘇武送去過幾十頭牛羊，表示與蘇武的舊情不忘。李陵再次到北海看望蘇武時告訴他皇帝死了，蘇武聽後，麵向南方大聲痛哭，一連哭了幾個月。
漢昭帝即位後，又過了幾年，匈奴又向漢朝表示恢複和親，漢朝要求匈奴放回蘇武等人，匈奴謊稱蘇武已經死了。後來漢朝又派使者去匈奴，常惠設法買通了看守他的匈奴兵，趁著黑夜去會見了漢朝使者，將蘇武被囚的全部情況告訴了使者，並獻計告訴使者如何揭穿單於的欺騙。
第二天，漢朝使者麵見單於，又提出了放回蘇武的要求。單於說這件事我早已告訴你們，蘇武已經死了。漢使者說：“你們明明是不講信譽在欺騙我們，我們皇帝在打獵的時候，射中了一隻雁，雁的一腳上係有一條綾綢，是蘇武寫給皇帝的信，信中說被押到北海牧羊，怎麼說死了呢？！”單於聽後，大吃一驚，隻好說實話，並立即派人去北海將蘇武接回來，送蘇武回漢朝。
公元前81年春天，蘇武帶著剩下的9個人回到了漢朝京城長安。漢昭帝下令，為蘇武準備了牛、羊等大批祭物，拜祭了漢武帝的靈位，將節杖交還到漢武帝靈前。