蘇武來到荒涼的沙漠苦海，得不到匈奴供給的糧食，隻好掘取野鼠儲藏的草籽用以充饑。他每日拄著“漢節”（漢武帝差他出使匈奴的符節）牧羊，不論朝夕從不離手，因此時間一長，節旄（節上的犛牛尾毛）脫落淨盡。時光荏苒，春去秋來，蘇武已度過五六個寒暑，蘇武懷念祖國的心情並未削減。一日，蘇武正在牧羊，忽聽遠處傳來馬蹄聲，蘇武正在驚疑間，一個匈奴貴族打扮的官員來到麵前，蘇武定睛一看，原來是漢朝的騎都尉（騎兵統帶官）李陵。李陵，字少卿，漢名將李廣之孫。在漢朝時，與蘇武俱為侍中，且係好友。蘇武出使匈奴之明年，漢武帝即任命他為騎都尉，率兵5000，與匈奴交戰，戰敗投降匈奴。李陵雖知蘇武被困在匈奴，卻無麵目去見故友。過了很久，單於知李陵與蘇武相善，乃命令李陵去北海勸蘇武歸降。
李陵來到北海上，為蘇武置酒設樂。敘說朋友交誼後，向蘇武說明單於使其前來勸說歸順之事。李陵首先告知蘇武家庭的不幸遭遇：老母已死，兄弟皆坐事自殺，蘇武妻子年少，聞已改嫁，女弟、兒女10餘年來，存亡不可知；接著自敘始降匈奴時忽忽如狂的內疚心情，表示對蘇武此時的心境很是理解，然後又聯係到漢武帝對大臣的殘酷寡恩說：“陛下春秋高，法令無常，大臣無罪夷滅者數十家，安危不可知。”為如此皇帝自苦如此，實不值得，不如歸順匈奴。蘇武爽直地向李陵剖明心跡說：“武父子無功德，皆為陛下所成就（提拔之意）位列將，爵通侯，兄弟親近（近臣之意），常願肝腦塗地。今得殺身自效，雖蒙斧鉞湯鑊，誠甘樂之！臣事君，猶子事父也，子為父死無所恨，願勿複再言！”李陵與蘇武盤桓數日，終不能動其心，李陵見其至誠，慚愧地與蘇武揮淚告別。李陵使其妻子贈給蘇武牛羊數十頭，以改善其日常生活。
後元二年（公元前87），李陵又至北海上，將漢武帝去世的消息告知了蘇武。蘇武聽後，南向號哭，悲痛異常。明年，昭帝（武帝之子）即位，是時，匈奴且鞮侯單於早已死去。昭帝始元二年（公元前85），匈奴壺衍鞮單於即位。由於連年戰爭，社會經濟遭到嚴重破壞，人民渴望和平。同時，匈奴新單於初立，國內乖離，貴族爭奪，常恐漢軍來襲，乃采納衛律之謀，與漢朝恢複和親和正常往來。昭帝始元六年（公元前81），漢與匈奴議和，要求匈奴把蘇武、馬宏（前使西域為匈奴所獲，亦不肯降）等人放還，竟遭到匈奴的拒絕。匈奴詭稱蘇武已死。後來，漢使又來到匈奴，漢朝被囚禁在匈奴的使者常惠買通守者，得夜見漢使，將蘇武的真實情況告訴漢使，並教給漢使營救蘇武的計策。