大凡著名的佛教古寺都有五百罗汉室。在唐代高僧玄奘写的《大唐西域记》中，记载了五百罗汉的由来：
摩羯陀国有1000个佛僧，其中，500个是凡夫僧，500个是罗汉僧。国王无忧王对他们很敬仰，一视同仁。所谓罗汉僧，是指那些断除了贪、欲之念，已得正果，不受生死轮回的佛僧。这五百罗汉僧平时不露其相，连无忧王也不知道他们是罗汉僧。在五百凡夫僧中，有一个名叫摩柯提婆的，经常发表一些违背教规的言论，影响了一大批佛僧。无忧王很生气，想把一千佛僧全部淹死，这时五百罗汉僧才各显本相，腾云驾雾而去，在迦湿弥罗国的一个山谷里隐居起来。无忧王知道后，又悔恨又惧怕，亲自到罗汉僧隐居的地方向他们承认自己的过错，并请他们回去。罗汉僧们不肯，无忧王便在国都建起一座寺庙，照五百罗汉僧的模样塑了五百罗汉像流传下来，并在玄奘取经时，由西域传到了我国。