“替罪羊”英文译为“负罪羊”。用羊替罪来自古犹太教。古代犹太人在犹太教的赎罪日那一天，常用羊当祭品。据《圣经》记载，古代犹太人在举行祭祀时，大祭司把手按在公羊头上，表示全民族的罪过已由这只羊承担，然后把羊赶入旷野或沙漠，称为“替罪羊”或“负罪羊”。基督教也将耶稣比作替世人负罪而被杀献祭的羔羊。西文文学常以此指代人受过者。
在《圣经》中还有这样的记载：上帝为了考验亚伯拉罕的忠诚，叫他带着他的独生子以撒到一个指定的地方，并把以撒杀了，作为祭品献给上帝。正当亚伯拉罕要拿刀杀他儿子的时候，天使出现了。天使说：“我知道你是敬信上帝的。”并劝阻亚伯拉罕，让他不要杀自己的儿子。于是，亚伯拉罕便抓来一只小山羊杀了，代替他的儿子作为祭品献给上帝。
在我国古代有以羊代牛受过的记载。据《孟子·梁惠王上》记载：“王坐于堂上，有牵牛而过堂下者。王见之，曰：‘牛何之？’对曰：‘将以衅钟（注：新钟铸成，宰杀牲畜，取血涂钟的仪式）。’王曰：‘舍之！吾不忍其觳觫，若无罪而就死地。’对曰：‘然则废衅钟欤？’曰：‘何可废也，以羊易之。’”
齐宣王不忍心看见牛恐惧战栗的样子，责令用羊替代牛来祭钟。羊在这里也担当了“替罪”的角色。
用“替罪羊”这个词来比喻替人受过很形象，因此广泛地流传了下来。