在荒无人烟的地方，苏武一直默默地忍受着痛苦的煎熬和思乡的折磨，似他自始至终都没有屈服过，这样非人的生活一直持续了19年，尽管期间经历多次的死亡威胁和各种诱惑，但苏武的坚强意志却从来没有动摇过。而匈奴王单于也始终没有能够得到这位满腹经纶的汉朝使臣，他终于明白了“贫贱不能移，富贵不能淫，威武不能屈”的真正内涵和巨大力量。
汉武帝时期，汉朝和西北少数民族匈奴的关系时好时坏。卫青、霍去病、李广都是汉朝武将，在与匈奴的战争中都立过大功。到公元前100年，匈奴新单于即位，汉武帝为了表示友好，派苏武率领一百多人，带了许多礼物，出使匈奴前去祝贺。不料，就在苏武完成了出使任务，准备返回自己的国家时，匈奴发生了内乱。
卫律在出使匈奴后投降了匈奴。匈奴的单于特别重用他，封他为王。卫律手下有一个叫虞常的人对卫律的做法十分愤恨。他跟苏武的副手张胜原来是朋友，就暗地跟张胜商量，想杀了卫律，劫持单于的母亲，逃回中原去。没想到虞常的计划没有成功，反而被匈奴人逮住。单于大怒，派卫律前去审问虞常，而且一定要查出同谋人。单于巳经怀疑苏武了。
原本不知道这件事的苏武听说了以后，心里非常明白，他对张胜说：“事情已经到这个地步，单于肯定会认为是我指使的。如果让匈奴人审问以后再杀死我，那简直是太给朝廷丢脸了！”说完，他就拔出刀来要自杀。张胜和随员常惠眼快，夺去苏武手里的刀，把他劝住了。
单于听了苏武的事，觉得苏武是个有气节的好汉，十分钦佩他，于是更加希望苏武能够留在匈奴为他所用。等苏武伤痊愈了，单于又设计想逼苏武投降。
单于把苏武关在地窖里，不给他吃的喝的，想用长期折磨的办法，逼他屈服。这时候正是隆冬天气，外面下着鹅毛大雪。苏武忍饥挨饿，渴了，就捧一把雪止渴；饿了，扯一些皮带、羊皮片啃着充饥。单于见这样的折磨也没有使苏武屈服，越发敬重苏武的气节，他不忍心杀掉苏武，又不想让他返回汉朝，便把苏武送到北海（今贝加尔湖）边去放羊，并且把苏武和他的部下常惠分隔开来，不许他们通消息。单于派人对苏武说：“等公羊生了小羊，你就可以转回汉朝去了。”公羊是不可能生出小羊的，这就是说要长期监禁苏武，直到他投降。
19年以后，汉武帝已经去世，他的儿子汉昭帝继位，而匈奴的单于也换成了年轻的单于。汉昭帝派到匈奴的使臣回到汉朝后，将苏武还活在世上，被匈奴流放到北海放羊的消息告诉了汉昭帝。
为了使单于能够放回苏武，汉昭帝派使者到匈奴对匈奴的单于说：“我们的皇上在御花园射下一只大雁，雁脚上拴着一条绸子，上面写着苏武还活着，请您放苏武和我一起回去。”年轻的单于听了深信不疑，同意放苏武还朝。
昭帝始元六年，即公元前81年，苏武终于回到了长安。他离开长安的时候，才四十岁，返回时须发皆白。到达长安的那天，长安的人民都出来迎接，看到苏武手执已经残破不堪的旌节，没有一个人不受感动。
北海的19年牧羊生活极其艰苦，苏武从不离手的已经掉光了绒毛的旌节是他能够生存下来的希望。