公元前100年，汉武帝正要派兵讨伐北方的匈奴，忽报匈奴鞮侯单于（匈奴最高统治者）已把过去拘留的汉朝使者全部放回来了，并奉书求和。武帝听了报告，接见了使者，又看了来书，见匈奴使者和来书均谦卑有礼，不禁欢喜起来，心想连年用兵，已使国库空虚，现在如果能同匈奴修好，的确是一件好事。于是，他下令释放汉朝拘留的匈奴来使，任命中郎将苏武为使送归。另外还特地修书一封，连同大量金银财物，令苏武一并带给匈奴单于，以表示修和结好的诚意。
谁知那鞮侯单于并不是真心同汉朝和好，所以送回汉使，自称儿辈，原来是缓兵之计。他见汉天子派苏武送逐使者，厚赠金银，认为武帝中了他的奸计，更加骄傲起来。苏武看穿了单于的真象，心想先不露声色，待返回汉朝再启奏皇上不晚。谁知，却偏偏发生了意外。
在苏武出使前，汉使卫律背叛朝廷投降了匈奴。他手下有个叫虞常的人，表面投降了，但内心却在等待时机，希望能立得功劳，重返汉邦。正好苏武一行到了匈奴，虞常便去拜访他熟识的副使张胜，对他说愿意杀掉卫律。张胜并不和苏武商量，擅自表示同意，逐送他许多财帛。不料机密泄露，虞常被捉。张胜害怕了，这才把事情经过告诉苏武。这时，虞常受刑不过，招出了张胜。单于听了大怒，立刻命令卫律召苏武受审。苏武叹道：“辱没了国家使命，还有何面目复归汉朝？”拔出佩剑，便向自己的脖子抹去。卫律大吃一惊，慌忙上前抱住，苏武已血流满身，直急得卫律命令左右，快马加鞭速去找医生。经过医生长时间抢救，苏武终于苏醒过来。单于非常佩眼苏武的气节，早晚都派人去问候他，暗暗地却打起了招降他的主意。
苏武的伤刚好，单于就派卫律通知他参加判处虞常的事，打算趁机迫令他投降。卫律从狱中提出虞常，当场宣告死罪，把他斩首。接着对张胜说：“汉使张胜谋杀单于大臣，本应处死，不过，如若投降，尚可免死！”说罢便向张胜举起了宝剑。贪生怕死的张胜连说愿降，做了可耻的叛徒。卫律冷笑着瞅瞅苏武，厉声喝道：“副使有罪，苏君理应连坐！”苏武正色回答说：“我本来就没有和他们同谋，又不是他们的亲戚，如何谈得上连坐？”卫律拔出宝剑直逼苏武，苏武把头一昂，毫不动容。在大义凛然的苏武面前，卫律的手反倒抖了起来，他忙把剑缩了回去，一改怒容，和颜悦色地说：“苏君，我卫律自从归顺匈奴，深得单于恩宠，不但受封为王，拥有数万人众，而且牛羊牲畜漫山遍野。苏君今日若肯降服，明日就可以与我一样。以血肉去滋润旷野，又有谁会知道你呢？”苏武听了，眼皮都没抬一下。卫律又说：“苏君若归降过来，我愿与君结为兄弟，若不听我劝，恐不能再见我面了。”苏武听到这里，不禁勃然大怒，站起身来，直指着卫律斥骂道：“卫律，你曾为汉朝臣子，如今忘恩负义，叛国离亲，甘心降敌，我要见你做什么？”一席话把卫律骂得哑口无言，脸由白变红，一直红到脖子根。
单于无计可施，只得下令把苏武禁闭在一个大地窖里，不给饭吃，不给水喝。苏武躺在地窖里，不由思绪万千，他想起汉皇给自己的使命，想起了家中的妻儿老母，想起了那雄伟壮观的长安城……他越来越感到饥饿难忍，但地窖里除了一块破毡之外，什么东西也没有。实在饿极了，他就撕块破毡放进嘴里，再把手伸向门外，抓回一把雪来，就着雪把毡吞下去……就这样一连过了许多天，竟然没有饿死。迷信的单于以为神灵在保佑苏武，不敢杀害他，就把他流放到北海那荒无人烟的地方，给他一群公羊让他放牧，说等到公羊下了小羊，才准许他回国。
在荒无人烟、茫无边际的北海草原上，要生存是极其艰难的。没有粮食，苏武就挖野菜、捉老鼠充饥。他早已把生死置之度外，却始终手持着汉武帝送给他的使节，无论白天放羊还是晚上睡觉，这使节从来没有离开过他。一年又一年过去了，一连过去了十九年，十九年来，虽然单于多次派人劝降，但他矢志不移，他说：“我不能对不起皇上，不能对不起祖宗，不能对不起父母之邦。”他经常孑然一人，怀抱着旌节，凝神南望，心中反复地重复着自己的信念：“总有一天，我会举着这使节重返故国的！”
这一天终于被他等到了。汉武帝死了以后，汉昭帝继位当了皇帝，经过几年努力，汉朝终于与匈奴恢复了和好关系。汉朝要求匈奴归还苏武，匈奴单于撒谎说：“苏武已经病死了。”后来，汉朝使者到匈奴去，让当年苏武的副使、坚决不降、被罚做苦工的常惠听说了，他设法见到了汉使，细述了详情，并同使者一起商量好了救出苏武的计策。第二天，汉使又去见单于假说皇帝打猎的时候，射下一只雁来，雁腿上缚着苏武书信，说他正被流放在北海。因而天子要求单于，立刻放苏武回来。单于终于无话可说了，只好下令放出了苏武。在汉使的坚持下，常惠等人也都获得了释放。
坚强不屈的苏武终于回来了，长安人民听到消息后，都自动拥到大街上迎接。当年苏武出国时年方四十，现在已步履蹒跚；当年跟随他出使的共有一百余众，于今生还者只有九人。人们望着须发尽白的苏武手执光秃秃的使节，带领着饱经磨难的同伴们一步步走来的时候，无不感动的热泪滚滚。
苏武拜见汉昭帝，交逐使节。年青的昭帝手抚旧节，听着苏武的叙述，眼泪禁不住扑簌簌掉下来，大臣们没有一个不流泪的，人们被苏武和他的同伴们深深地感动了。
苏武牧羊的故事，已经过去二千多年了，却一直在民间流传；苏武那不屈不挠、爱国报国的赤胆忠心，永久地留在了中华民族的史册中。