两世纪前的一个夏天的早上，在监狱巷的监狱前面的草地上，聚集着一大群波士顿市民。监狱门打开了，出现了一位城里狱吏，身后跟着一位年轻女子，抱着一个大约三个月大的婴孩。在她的长袍的胸前，现出了用红布制成的字母A。正是这个红字，使她吸引了所有的视线。
指定惩罚她的地点离监狱大门不远。海丝特·白兰尽管内心深受痛苦煎熬，却带着几乎是安详的神情，穿过人群，走到安装了颈手枷的绞刑台旁。在数以千计的人群的无情目光的重压下，这个不幸的罪犯尽一个女人最大的气力支撑住自己。
人群外围，一个个子矮小、显得富有智慧的男人吸引了海丝特的注意。那个男的也盯着她，直到他发觉她像是认出了他时，便将手指压着双唇。
然后，他与一位市民进行交谈，说：“您好，先生。请问，这女人是谁啊？干嘛让她在这里当众受辱？”
“朋友，你肯定是个外乡人吧？”那市民答道，“不然，你该听说过海丝特·白兰太太这人了。她在神圣的丁梅斯代尔牧师的教区里闹出了大丑事。按罪她是该处死刑的，可咱们的地方行政官儿们发善心，只判她在绞刑台上站三个小时，并且终生在胸前佩戴一个耻辱的标记。”
“多么英明的判决！”那个外乡人评论道，“不过，她那邪恶的伴侣竟然没有和她站在一起示众，这可让我不舒服。但是，他会被发觉的——他会被发觉的！”
丁梅斯代尔先生是一位天分很高、多才多艺、事业卓著的年轻牧师。他被催促去规劝海丝特进行忏悔，招出实情。他同她谈了话，劝她供出犯罪同伴的名字，哪怕这会招致他从崇高的地位上跌下来，和她站在一起，因为这总比一辈子隐藏着一颗罪恶的心要好些。
海丝特摇了摇头，一动不动地站在耻辱台上，脸上带着冷漠、疲倦的神情。
这天夜里，她孩子发惊厥，她请了一位医师，名叫罗格·齐灵窝斯先生，正是海丝特从人群中认出来的那个外乡人。他为孩子镇了痛，然后转过身说道：“海丝特，我不问你为何掉进这个深渊里。这是我的愚蠢、你的软弱造成的。我——一个有思想的人，面对即使像你那样的青春、美貌，又要它干什么？我本该知道会发生这种事的，我很久不在这儿了。”
“我把你坑苦了。”海丝特讷讷地说道。
“咱们把双方都坑苦了。”他回答说。“不过，我将寻找这个你不愿泄露他姓名的人，迟早他笃定要落在我手里。我不会试图谋害他的生命。让他活着。你从前是我的妻子，我可以要求你一件事。你一直为他的名字守秘，同样也要为我的名字守秘。让你丈夫在世上成为一个业已死去的人，不要泄露这件秘密，尤其是不能对你所知道的那个男人泄露这件秘密。”
“我一定像保守他的秘密那样保守你的秘密。”
从监狱里获释后，海丝特并没有逃掉，而是在城外一间小农舍安身立命。不存在缺衣少食的问题，因为她有做针线活这门技艺，可以养活她自己和小孩。她给小家伙取名为“珠儿”，表示非常高昂的代价。小珠儿渐渐长大成一个可爱的小孩。他们想带走她。这事当着母亲的面，由贝汉灵州长以及他的客人约翰·威尔逊牧师、丁梅斯代尔牧师和罗格·齐灵窝斯医师进行了讨论。
“上帝将这个孩子给了我！”海丝特叫喊道，然后转向那位年轻的牧师丁梅斯代尔先生，大声说：“你为我说说话吧。你以前是我的教长，知道我心里想什么，知道什么是母亲的权利，特别是当做母亲的除了剩下自己的孩子和红字之外已一无所有时，那种权利对她有多大分量！我不愿失去这个孩子，求求你关照一下！”
“她说的是实话，”牧师开声了，“这个母亲和孩子之间有一种令人可畏的神圣特征。把孩子托给她抚养，由她将小孩带上正道，对这个可怜的罪妇不无好处。天意如此，已经妥善地安排了她们，我们还是由她们去吧！”
“我的朋友，你的话热切得让人奇怪呢。”罗格·齐灵窝斯朝他微笑看说道。
“他既然说得那么有道理，我们还是让这个事照旧吧。”州长说道。事情获得了圆满解决，海丝特和珠儿离去了。
牧师丁梅斯代尔先生健康不佳，为此向齐灵窝斯医师就教。医师将他看作病人，决定在实行治疗之前，探讨一番他内心深处的气质。他安排他们两个人住在一起，以便使丁梅斯代尔始终处于医生的观察之中。
齐灵窝斯医师着手进行调查研究。在他的想象中，他是以一个法官的正直无私、只热心于追求真理来进行这项调查的。调查中，有一种可怕的魔力控制着他，硬要他按它的指令行事，使他欲罢不能。这时他开始挖掘这位可怜的牧师的心了，像是一位矿工寻找黄金。渐渐地，丁梅斯代尔先生开始带着一种莫名其妙的恐怖观望着他。
丁梅斯代尔先生常常想在讲坛上说出过去的真相，但是他只是用笼统的措辞承认自己犯罪，藉以自欺欺人。一次，由于沉湎于悔罪的拙劣表演，他登上了海丝特站过的绞刑台。因为所有的人都入睡了，所以并没有被发觉的危险。然而，从城里回来的海丝特、珠儿以及随后到达的罗格·齐灵窝斯还是使他大吃了一惊。
“那人是谁？”丁梅斯代尔满怀恐惧地喘着气问道，“海丝特，我一见到他就发抖。你一点忙也不能帮我吗？我对那人有一种说不出来的恐惧。”
海丝特记起了她的诺言，一声不吭。
“可尊敬的先生，”医生说道，一边朝绞刑台走过来。“虔诚的丁梅斯代尔大师啊！真的是你吗？来吧，好先生，我祈求你了，让我领你打道回府吧！你应该少看点书，不然的话，你那夜游症慢慢会变成顽疾的哟。”
海丝特现在决心竭尽全力去挽救这位牺牲者，她看得出他已经被她的前夫捏在手心里了。一天，她在树林里碰见了寻草药的这位老医生，她苦苦求他发发善心，说不管后果如何，她现在一定要将他们俩从前的关系泄露出来。
一星期后，海丝特在树林里等待牧师，告诉了他有关罗格·齐灵窝斯以及他们之间关系的事，要他怀抱希望，去大海那头的某个乡村里追求新生活。
“你不会单身前往的。”海丝特低声说道。
亚瑟·丁梅斯代尔获得了新英格兰牧师所能得到的最为自豪的显赫名声。在庆贺选举新州长的节日里，由他作了庆贺选举的布道。
海丝特已订了去英国的轮船铺位。节日里，船长告诉她，罗格·齐灵窝斯也订购了同一艘船的船票。她不置一词，回身和珠儿站在绞刑台边。
被市里长官围住的那位牧师在绞刑台边停了下来，他招呼海丝特和珠儿走过去，然后登上绞刑台台阶。他告诉海丝特，说他是个快死的人，得赶快担负起他的耻辱。然后他面向市场，用所有人都能听得见的声音发表讲话。
“新英格兰的人民！最后，最后我终于站到了七年前我就应该站立的地方。瞧，海丝特佩戴的红字！你们一看见它便都惊恐万状！可是，在你们中间还站着一个人，他的罪恶烙印，还未曾使你们感到惊恐。”
他抽搐着猛地撕开胸前的牧师长袍。那件东西露出来了！然后，他倒在绞刑台上，头靠在海丝特的胸前死去了。
过后，对于绞刑台上的那一幕情景，人们有各种不同的说法。许多人作证说，在牧师胸前看见了红字。而另一些人则加以否认，说丁梅斯代尔的供认与海丝特的罪恶不发生任何的牵连。
罗格·齐灵窝斯死了，将他的财产遗赠给珠儿。
海丝特和珠儿在英国住了多年，接着，在珠儿结婚后，只身回到了树林子旁边的那座小农舍。