霍去病打敗匈奴後，匈奴元氣大傷，多年不敢派兵到漢朝的邊境來騷擾。戰爭既已平息，就代之以雙方的和平交往。有時候，匈奴使者帶些牛羊來漢朝奉獻，表示願意互通有無，友好貿易。漢朝為了答謝，也常派使者帶些絲綢、茶葉去回訪，表示願與匈奴和平友好。可是，禮節性往來的後麵也常常互相勾心鬥角。匈奴單於常常找種種借口，把漢朝派去的使者扣留起來，不讓回國，甚至還用威脅利誘的手段，強追漢朝使者投降。漢朝為了報複，也常把匈奴派來的使者扣留。這樣一來二去，雙方&經互相扣留了10多批使者。
漢武帝天漢元年（公元前100年)，匈奴且鞮侯單於新立，他怕漢朝出兵打他，派使者到漢朝求和，並把以前曆次扣留的漢朝使者送了回來。
漢武帝本著來而不往非禮也的原如，決定采取相應的措施。他派中郎將蘇武為正使，副中郎將張勝為副使，帶著助手常惠和100多名士兵,還帶了許多金銀綢緞茶葉等禮品，護送以前扣留下來的全部匈奴使者回匈奴去。漢武帝親手把代表使者身份的“使節”交給蘇武。這“使節”是根長七八尺的拐杖，頂部略彎，掛著一串串毛茸茸的絨球，拿著它是十分神氣的。
蘇武帶著一行人到達匈奴以後，把帶去的匈奴使者當麵點交給單於，並送上禮品，傳達了漢武帝要與匈奴和平友好相處的意願。豈料且鞮侯單於並非如想:像中的那樣和善，他同樣也是個反複無常的人。他看自己的人都已回來了，而漢使又帶來了那麼多的禮品，以為漢朝的力量一定比以前有所削弱，無力與匈奴對抗，才對他們那麼友好，所以他的態度反而驕橫起來了。他兩眼朝天，鼻孔中哼呀哈呀的，對蘇武一副愛理不理的樣子。蘇武為了維護雙方的和好，盡量耐著性子跟單於應付，準備盡快完成任務後返回漢朝。
正當蘇武等待單於的回信準備返回漢朝的時候，突然發生了一樁意外事件。原來，早在蘇武出使匈奴以前，有個叫做衛律的漢使投降了匈奴，死心塌地為單於出謀劃策，反對漢朝。衛律手下有個叫虞常的人，雖然陷身匈奴，卻時常想要為漢朝出力，蘇武出使匈奴，使他很是高興，認為報效漢朝的機會來到了。他原先就認識蘇武的副使張勝，就偷偷去找張勝商量說：“聽說漢朝天子十分痛恨降賊衛律。我準備找機會用暗箭把衛律射死，然後回歸漢朝。我的母親和弟弟都在漢朝，萬一我的謀劃不利，發生了意外，希望天子能好好照顧他們!”張勝讚成虞常的計謀，拿自己帶去的財物支援虞常。
過了幾天，單於外出打獵，虞常等70餘人準備乘機發難。豈料其中出了個叛徒，半夜逃走，把事情告發。虞常的計謀失敗了，他被關押了起來。
單於派衛律審問虞常，張勝怕自己牽連進去，這才把他與虞常合計的事告訴蘇武。蘇武聽了很生氣，他說：“事情到了這般地步，你才告訴我，已經晚了，看來我也要被牽連上了。我是漢朝使者，如果我被迫去接受審訊，這就等於漢朝受到了侮辱，是件很丟臉的事。我還不如趁早自殺的好，免得受辱。”說著拔出佩刀就往脖子上抹。張勝、常惠趕快跑過去製止，把刀奪下了。
衛律審問虞常的時候，用盡了種種殘酷的刑罰。虞常經受不住，終於供出曾與張勝密謀。因為張勝是跟蘇武同去的副使，單於就命令衛律來叫蘇武等人一同去接受審訊。蘇武對助手常惠等人說："我奉命出使匈奴，是為了漢朝和匈奴和好。如今我以使者的身分去愛審，這就使漢朝蒙受了侮辱，將來我又有什麼臉麵活著回漢朝去呢?，說著，又拔出佩刀來自殺。衛律急忙衝過去把他抱住，把刀奪下，可是蘇武已經受了重傷，血流如注，昏暈過去。衛律急忙找來醫生，包紮搶救。折騰了半天，蘇武才慢慢蘇醒過來。常惠哭著叫士兵把蘇武抬回營房，副使張勝卻被衛律抓走投入監牢。
因為蘇武有寧死不屈的骨氣，使得單於也暗暗佩眼。他希望蘇武能投降，像衛律一樣替他效力。他早晚派人來問候，想要軟化蘇武，迫使蘇武投降。
等蘇武恢複健康以後，單於命令衛律提審虞常和張勝，叫蘇武去旁聽。為了起到殺雞儆猴子的目的，審著審著，衛律當場就把虞常殺死了，然後舉著明晃晃的鋼刀威脅張勝說：“你身為漢朝副使，居然參與想要謀殺匈奴大臣的陰謀，該當何罪！應當也把你殺了；要是你肯投降，則可以免你一死。”張勝害怕送命，當即跪下請求投降。衛律見自己的預謀初步得逞，就舉著鋼刀回過頭來對蘇武說：“副使有罪，你應當連坐！”蘇武從容不迫地說：“我根本不知道他們的密謀，跟他們又無親戚關係，憑什麼叫我連坐？”衛律說：“副使已經投降，你也趕快投降，否則就把你殺了！”說著，裝出要把刀砍過來的樣子。蘇武霍地一下站起來，迎著鋼刀，伸長脖子，臉不變色地說：“你有膽量殺堂堂漢使，你就殺吧!”衛律見蘇武那樣鎮定自若，知道用武力威嚇不行，就收起鋼刀，露出一臉奸笑對蘇武說：“蘇大人！單於佩服遂的骨氣，很願意請您為他效勞。我看您還是投降吧！您看我投降以後，受到單於重用，被封為王，如今我手下有好幾萬人，牛羊滿山，享盡了榮華富貴。您今天投降，明天也就會跟我一樣。否則，您將白白地死在匈奴，葬身於荒原亂草之中。天高皇帝遠，又有誰能知道您對漢朝天子的一片忠心呢?”