蘇武恢複健康後，單於命令衛律審問虞常和張勝，並將蘇武帶去聽審，想借機威嚇他。在審問中，衛律將虞常當場殺死，蘇武鎮定自若地說：“隻要你有膽量殺漢朝正使，那就殺吧，我並不怕死。”衛律見以死相脅迫並未見效，於是又用功名利祿來引誘蘇武。
蘇武怒罵道：“你身為漢朝使臣，卻忘恩背義，背叛了君主和國家，像你這種無恥之徒，我再也不想見你！你倚
仗單於的信任，隨意殺人，從中搬弄是非，挑唆漢朝和匈奴相鬥，自己卻幸災樂禍，真是無恥之極。”
蘇武麵對種種威脅利誘，始終恪守為臣之道，忠君愛國，保持自己高尚的氣節。所以盡管衛律使盡了各種手段，卻一直不能使他有絲毫動搖。單於聽說蘇武如此堅貞不屈，就命人將蘇武關到一個大地窖裏，不給飲食，想以肉體的折磨迫使蘇武屈服。匈奴所在之地氣候寒冷，北風夾著大雪呼嘯不止。蘇武躺在地窖裏，渴了吃把雪，餓了吃氈毛，居然活了下來。匈奴人對此感到十分驚奇，單於對他無可奈何，就將他流放到北海牧羊。並對蘇武說：“等公羊下了小羊，我就放你回漢朝。”
北海是一片原始大地，千裏沒有人煙，氣候異常寒冷，積雪常年覆蓋在大地上，鳥獸罕至。蘇武來到北海後，沒有糧食，沒有飲水，餓急了就挖鼠洞，將洞中的草根、野果取出來充饑。蘇武晝夜不肯放下象征漢使身份的節杖，時間長了，節杖上的旄毛全都脫落，他還是不肯丟棄。
蘇武在北海期間，曾經和蘇武在一起做過漢武帝侍中的李陵，投降了匈奴。單於派李陵去勸降蘇武，李陵來到北海後，對蘇武說：“單於一直在等你回心轉意，今生今世你恐怕也不能回到漢朝了，在這萬裏荒原之中白白受苦，誰又能知道你的忠義呢？近些年來，皇帝年
事已高，總是做出反複無常的事來，大臣中沒有什麼過錯就被滅族的有幾十人，您還為誰效忠呢？”
蘇武說：“我心甘情願以身報國，如果單於一定要我投降，那我就隻能一死以示忠心了。”後來李陵再次來北海探望他的時候，告訴他漢武帝去世了，蘇武聽後麵向南方大聲痛哭，一連哭了幾個月。
漢昭帝即位後過了幾年，匈奴又向漢朝表示希望恢複和親，漢朝就要求放回蘇武等人，匈奴謊稱蘇武已經死了。後來，漢朝又派使者去匈奴，常惠設法買通了看守他的匈奴兵，趁著黑夜去會見了漢朝使者，將蘇武的消息告訴他們，並獻計如何揭穿匈奴的騙局。
第二天，漢朝使者麵見單於，說：“我們皇帝在打獵的時候，射中一隻大雁，雁的腳上綁有一條綾綢，是蘇武寫給皇帝的信，信中說他被囚在北海放羊，你怎麼說他死了呢？”單於隻好放蘇武回漢朝。
公元前81年春天，蘇武帶著剩下的9個人回到了漢朝京城長安。漢昭帝下令，為蘇武準備了牛羊等祭品，拜祭了漢武帝的靈位，將節杖交還到漢武帝靈前。至此，蘇武19年的磨難才終止了。他忍屈受辱，忠貞不屈，永不失節的感人事跡，震撼了朝野，令人敬佩之至。
蘇武的忍耐長達十幾年，但也正是因為他的堅持和忠誠，才能在長久的忍耐之後，回到自己魂縈夢牽的祖國。
而蘇武牧羊的故事更是長久地流傳下來，作為一個堅強不屈的形象刻印在人們心中。
這樣品性高潔的人，上則為日月，下則為河嶽，是千百年來令人敬仰和學習的。這樣的柔忍不意味著軟弱，也不意味著無能。相反，它是以強大的意誌力和高尚的品格作為支持和動力的。