故事发生在1947年，银行家安迪被指控枪杀了妻子及其情人，被判无期徒刑，关在鲨堡监狱里。
好长时间以来，安迪不和任何人接触，在大家抱怨的同时，他在院子里很悠闲地散步，就像在公园里一样。老犯人瑞德是监狱中的“权威人物”，只要你付得起钱，他几乎有办法搞到任何你想要的东西：香烟、糖果、酒、甚至是大麻。一个月后，安迪请瑞德帮他搞的第一件东西是一把小石锤，他的解释是想雕刻一些小东西以消磨时光，并说自己有办法逃过狱方的例行检查。不久，瑞德就玩上了安迪刻的国际象棋。之后，安迪又搞了一幅丽塔·海华丝的巨幅海报贴在了牢房的墙上。
由于安迪精通财务制度方面的知识，很快使他摆脱了狱中繁重的体力劳动和其他变态囚犯的骚扰。不久，声名远扬的安迪开始为越来越多的狱警处理税务问题，同时他也逐步成为监狱长诺顿洗黑钱的重要工具。由于安迪不停地写信给州长，终于为监狱申请到了一小笔钱用于监狱图书馆的建设。监狱生活非常平淡，总要自己找一些事情来做，安迪听说瑞德原来很喜欢吹口琴，就买了一把送给他。夜深人静之后，总可以听到悠扬的口琴声回荡在监狱里。
一个年轻犯人的到来打破了安迪平静的狱中生活：这个犯人以前在另一所监狱服刑时听说过安迪的案子，他知道谁是真凶。但当安迪向监狱长诺顿提出要求重新审理此案时却遭到了断然拒绝，并受到了单独禁闭两个月的严重惩罚。为了防止安迪获释，诺顿甚至不惜设计害死了知情人！
面对残酷的现实，安迪变得很消沉……一天，他对瑞德说：“如果有一天，你可以获得假释，一定要到某个地方替我完成一个心愿。那是我第一次和妻子约会的地方，把那里一棵大橡树下的一个盒子挖出来，到那时你就知道是什么了。”当天夜里，风雨交加，雷声大作，已得到灵魂救赎的安迪越狱成功。原来20年来，安迪每天都在用那把小石锤挖洞，然后用海报将洞口遮住。安迪出狱后，领走了诺顿存的一部分黑钱，并告发了他贪污受贿的真相。而诺顿在自己存小账本的保险柜里见到的是安迪留下的一本《圣经》，里边挖空的部分放着一把几乎磨成圆头的石锤。
瑞德获释了，他在橡树下找到了一盒现金，两个老朋友终于在墨西哥阳光明媚的海滨重逢了。