汉武帝天汉元年（公元前100年），武帝嘉许匈奴单于的义举。派中郎将苏武送还扣留在汉朝的匈奴使者，顺便用厚礼馈送单于，答谢他的好意。苏武与副中郎将张胜及暂时充任使团官吏的常惠等共行。到匈奴后，盛列礼品送给单于，单于却更加骄横，不是汉朝所期望的。
恰在此时，曾经归降过汉朝的匈奴缑王与长水人虞常等以及卫律率领投降的一些人，暗中互相谋划劫持单于的母亲阏氏回归汉朝。卫律的父亲原是长水地方的匈奴人，卫律与协律都尉李延年要好，李延年推荐卫律出使匈奴，出使回来，得知李延年全家被捕，于是逃跑投降了匈奴。单于很赏识他，同他商讨国家大事，封他为灵王。虞常在汉朝时，素与副中郎将张胜要好，私下见张胜说：“听说汉朝天子非常怨恨卫律，我可以替汉朝用伏兵把他射死。我的母亲、弟弟在汉朝，希望他们能得到赏赐。”张胜答应了他，送给他很多货物。之后过了一个多月，单于外出打猎，只有阏氏和子弟们在，虞常等70多人想要动手，其中有一人连夜逃走去告发。单于的子弟们发兵同他们相互攻打，缑王等人全被杀死，虞常被俘。
单于让卫律处理此事。张胜得知后，怕原来同虞常说的话泄露，就把情况告诉了苏武，苏武说：“事情既然如此，一定会牵连到我，等受到匈奴的侵辱再死，就更加有负于国家。”于是准备自杀，张胜、常惠一起制止了他。后来虞常果然供出了张胜。单于大怒，召集重要大臣商议，要杀掉汉朝使者。匈奴左伊秩訾说：“谋杀卫律就要处死，如果谋杀单于，又该怎样加重处罚呢？应该让他们都投降。”单于让卫律召苏武前去接受审问。苏武对常惠等人说：“如果卑躬屈节，有辱我们的使命，即使活着，又有何面目再回到大汉呢！”说完拔出佩刀刺入自己的身体。卫律大吃一惊，一把将苏武抱住，急忙召医生前来救治。苏武半日才慢慢苏醒。常惠等痛哭，将苏武抬回驻地。单于很钦佩苏武的气节，早晚都派人问候，而将张胜逮捕。
苏武逐渐痊愈，单于派人告诉苏武，希望他归降匈奴。正在此时，虞常被定为死罪，单于想借此时机逼苏武投降。斩杀虞常后，卫律说：“汉朝使臣张胜谋杀单于近臣，应当处死，单于招募愿降者，赦免其罪。”举剑要刺张胜，张胜请求投降。卫律又举剑威胁苏武，苏武纹丝不动。卫律说：“苏武君，我先前背弃汉朝归附匈奴，有幸承蒙大恩，被赐予王号并拥有臣民数万，牛、马等牲畜满山，竟有如此富贵！苏武君今日投降，明日也是这样，否则白白横尸荒野，又有谁知呢？”苏武不回答。卫律又说：“你要是听我的话，归降匈奴，我与你就如兄弟一般；如今日不听我的建议，以后即使想再见我，还能够办得到吗？”苏武骂道：“你身为汉朝臣子，却不顾恩义，背叛君主、亲人，投降蛮夷异族，我见你干什么！况且单于信任你，让你决定别人的生死，你不但不公平处理，反而想挑动两国君主相互争斗，在一旁坐观成败。你明知我不会投降，却想借此挑起两国之间的战争，只怕匈奴的灾难将会从我开始了。”
卫律明白苏武终究不会受他的胁迫，只得禀报单于。单于见苏武如此忠心，越发想争取他归顺，便将苏武囚禁于一个大地窖中，断绝苏武的饮食，企图逼其就范。当时正下大雪，苏武躺在地上，靠吞食雪片和衣服上的毡毛充饥，几天后竟然未死。匈奴人以为有神灵庇护，便将苏武放逐到北海荒无人烟之处，让他放牧一群公羊，并对苏武说：“等到公羊生下小羊，你就可以回国了。”常惠等使团中不肯投降的官员，也被分别扣留在其他地方。
苏武被流放到北海后，饿了就挖掘田鼠吃，把草籽收藏起来，以备食用。随身携带汉朝使臣的符节，昼夜不离，以至节杖上的毛缨全脱落了。
苏武在汉朝时与李陵一起做侍中，李陵投降匈奴后不敢求见苏武。过了很长时间，单于派李陵到北海为苏武摆下酒筵并以乐队助兴。李陵对苏武说：“单于听说我与你一向情谊深厚，所以让我来劝说你。单于诚心希望你归顺，准备以高官重任相待。你终归回不了汉朝，只是白白地自找苦吃，在这没有人烟的荒地，你的信义节操又有谁看到呢？你的兄弟二人都因犯罪而自杀，我来匈奴前，你的母亲已不幸去世，你的妻子年轻，听说已经改嫁了，只剩2个妹妹、2个女儿和一个儿子。如今又过了十几年，是否还在人世，不得而知。人的一生犹如晨露一般短暂，何必如此长久地自寻苦吃！我刚投降时，精神恍惚，如同疯子，痛恨自己辜负了汉朝，还连累老母被拘禁牢狱。你不想投降的心情怎么会超过我！而且陛下年事已高，法令变化无常，大臣中无罪却被灭族的有几十家，是安是危无法预测，你这到底又是为了谁呢？”
苏武听后说：“我父子本无才德功绩，全靠皇上栽培，才官居将军，爵封列侯，兄弟也在皇帝左右侍奉，我总想能肝脑涂地，以报达皇帝的恩德。现在能够为国殉身，哪怕是遭受斧钺、汤镬的残酷刑罚，我也心甘情愿！”
李陵与苏武一连饮酒数日，又劝道：“你再听我一句话！”苏武说：“很久以来我就知道自己必死无疑，如果你一定要我苏武投降的话，请结束今日的欢聚，我就死在你的面前！”
李陵见苏武一片至诚，长叹道：“唉，真是义士啊！我和卫律的罪过之大上通于天！”不觉泪湿衣襟，同苏武诀别离去，赐给他数十头牛羊。
后来李陵又到北海，告诉苏武武帝驾崩的消息。苏武面向南方，放声痛哭，致使吐血，每天早晚都是这样哭，历时数月之久。
老单于去世，新单于即位。卫律给单于出主意，与汉朝和亲。汉朝使者到后，寻找苏武等人，匈奴假称苏武已死。
后来汉朝使者又来到匈奴，常惠暗中面见汉使，教使者对单于说：“天子在上林苑射猎，射到一只雁，雁脚上系着一封帛信，说苏武等人在一个水泽中。”使者大喜，按照常惠说的责问单于。单于非常吃惊，向汉朝使者道歉说：“苏武等人确实还活着。”于是归还苏武等人。
李陵设酒宴祝贺，对苏武说：“现在你要回归汉朝，你的名声在匈奴传播，你的功勋在汉朝显扬，即使史籍所载、丹青所画的古人，又有谁能超过你呢？我虽然怯懦无能，如果汉朝宽恕我的罪过，保全我老母的性命，使我能够在蒙受大辱后振奋意志，也许可以有鲁国的曹刿在柯地劫持齐君订立盟约那样的壮举！然而杀了我的全家，这是世间最重的刑罚，我李陵还有什么可顾念的呢？如今一切已过去，只是希望你知道我的心罢了！”说完泪流不止，与苏武诀别。
单于召集苏武的随从及汉朝官员，除已投降和死去的以外，随苏武回汉朝的有9人。回到汉朝后，昭帝特令苏武用太牢之礼到武帝的陵庙祭拜，任命他为典属国，并予以重赏。苏武被扣留在匈奴19年，去时正当壮年，回来时胡子头发全白了。