东汉明帝时，西域高僧迦叶摩腾和竺法兰被请到洛阳，在洛阳建立了我国第一座寺庙——白马寺。
白马寺的营建与我国历史上著名的“永平求法”紧密相连。《后汉书》记载：“世传明帝梦见金人长大，顶有光明，以问群臣。或曰：‘西方有神，名曰佛，其形长丈六尺，面黄金色’，帝于是遣使天竺，问佛道法，遂于中国图画形象焉。”这段话的意思是汉明帝刘庄梦见皇宫里有一个身材高大，头顶散发着金光的人在宫中飞来飞去，不知是神是妖，心中大惑不解。第二天刘庄要众臣解梦，傅毅奏道：“臣听说印度有神，名字叫佛，就像陛下梦见的那个样子。”刘庄听后非常高兴，为了圆梦，就派大臣蔡愔、秦景等18人前往西域寻佛。
蔡、秦等人在月氏（今阿富汗一带）遇上了在该地游化宣教的天竺（古印度）高僧迦叶摩腾、竺法兰。蔡、秦等于是邀请佛僧到中国宣讲佛法，并用白马驮载佛经、佛像，跋山涉水，于永平十年来到京城洛阳。汉明帝敕令仿天竺式样修建寺院，为铭记白马驮经之功，遂将寺院取名“白马寺”。
从白马寺开始，我国僧院便泛称为寺，白马寺也因此被认为是我国佛教的发源地。历代高僧甚至外国名僧亦曾来此览经求法，所以白马寺又被尊为“祖庭”和“释源”。
白马寺建寺以来，其间几度兴废、几度重修，尤以武则天时兴建规模最大。现白马寺为长方院落，坐北朝南，寺内主要建筑有天王殿、大佛殿、大雄殿、接引殿、毗卢阁、齐云塔等。