匈奴自从被卫青、霍去病打败以后，双方有好几年没打仗。他们口头上表示要跟汉朝和好，实际上还是随时想进犯中原。为了表示友好，汉朝也派使者回访匈奴，可是汉朝派去的使者常常被匈奴扣留，于是汉朝也扣留了一些匈奴使者。
公元前100年，汉武帝想出兵打匈奴，正在这时，匈奴的使者来求和，还把扣留的汉朝使者放了回来。汉武帝就派中郎将苏武护送被扣留在汉朝的匈奴使者回国。苏武带着副使张胜、常惠及士兵100多人，踏上了出使匈奴的路。
苏武他们来到匈奴，把扣留的使者交给单于，然后献上礼物。苏武正等着单于写个回信，让他回长安交差，没想到，一件不愉快的事情发生了。
以前有个汉朝使者叫卫律，投降了匈奴，单于很器重他，封他为王。卫律有个部下叫虞常，他见卫律投降匈奴很不满，老想杀了卫律，然后逃回汉朝。恰在这时候，苏武等人来到匈奴。虞常跟苏武的副手张胜原来是好朋友，就偷偷地和张胜商量，准备把卫律杀死。
可是虞常不小心走露了消息，单于逮捕了虞常，让卫律审问他。张胜害怕了，就把虞常跟自己合计的经过告诉苏武。苏武吃了一惊，他说：“看来我要受到牵连了。我是汉朝堂堂使者，如果像犯人一样被匈奴审问，会给朝廷丢脸。”说罢，他拔出刀向脖子上抹去。张胜和常惠连忙夺下刀，才制止他自杀。
后来，单于天天派卫律去问候苏武，想逼他投降。卫律用尽办法也没有得逞。苏武指着卫律鼻子大骂：“你身为汉朝使者，背叛朝廷，像你这样的人，我为什么要跟你见面？你仗着单于，随便杀人，还想挑拨汉朝和匈奴打仗，你真是太可恶了。我决不会投降的，你今天杀了我，将来总有一天汉朝派兵来攻打匈奴，杀死你这个叛贼！”
单于见苏武坚决不屈服，就把苏武关在地窖里，不给他吃的、喝的，想折磨苏武，叫他投降。这时候正好天下大雪，苏武就吃融化的雪和地窖里的破毡毛。
过了几天，单于见苏武居然还活着，就把他送到北海边上去放羊。单于给苏武一群公羊，对他说：“什么时候这些羊生了小羊羔，你就可以回汉朝去！”
苏武来到北海，没有被眼前的皑皑白雪吓倒，饿了以挖野菜、逮田鼠充饥。他仍不忘自己是汉朝使者，每天白天拿着使节放羊，晚上抱着使节睡觉。日子一长，使节只剩下光秃秃的杆了。
匈奴老单于死了，由于内乱，新单于没有力量跟汉朝打仗，又打发使者来求和。汉武帝已经死了，汉昭帝即位，于是派使者到匈奴，要单于放回苏武、常惠等人。匈奴骗使者说苏武已经死了。
第二年，汉朝又派使者到匈奴去。苏武的随从常惠还在匈奴，他买通单于手下，偷偷和使者见面，把苏武在北海放羊的情况告诉使者。使者严厉地责备单于说：“你不应该欺骗汉朝，我们皇上在御花园里射下一只大雁，雁腿上拴着一条绸子，上面写着苏武还活着，他在北海放羊。”
单于听了，吓了一跳，他还以为苏武的忠义感动了飞鸟。他连声向使者道歉，答应一定把苏武放回来。
苏武在匈奴受了19年折磨，出使时他才40岁，回来已是白头发、白胡须的老人了。