从敏珠林寺往东，在桑耶渡口下车，乘机动船横渡水面达千米之阔的雅鲁藏布江。上岸后搭车，沿土路开往海不日山，经过山坡上5座巨石雕琢而成的石塔，大约行8公里，到达桑耶寺门口。
桑耶寺始建于公元762年，于779年建成，因为是西藏第一座剃度僧人出家的寺院，被称为“西藏千寺之祖”。寺院依山临水，呈现出佛门静土特有的清幽肃穆和神圣的气象，后来成为藏传佛教宁玛派（红教）的中心寺院。经过历代增修扩建，桑耶寺建筑占地面积11万余平方米，主殿占地面积4900多平方米，规模宏伟。
“桑耶”藏语意为“不可想象”，相传藏王赤松德赞为了弘扬佛教，请印度僧人莲花生为其建寺传法。莲花生施展法术，在掌心中出现一座寺庙，真是“不可想象”。桑耶寺建成后，赤松德赞从印度、内地邀请高僧住寺讲经、译经，鼓励贵族子弟到此修行，并命在此剃度的第一批七名藏人出家为僧，号称“七觉士”，桑耶寺遂成为西藏第一座“佛、法、僧”（佛像、佛经和僧人）俱全的佛教寺院。
历史上著名的古印度佛教与汉地佛教教义之争就发生在这里。782年，赤松德赞命汉地僧人摩诃衍与印度僧人莲花生在桑耶寺辩论顿悟与渐悟的是非，辩论结果汉僧失败，赤松德赞下令在吐蕃禁止汉僧的禅宗传播。
据说，桑耶寺的结构布局由印度高僧寂护设计。寂护和莲花生都是赤松德赞从印度请来的。整个建筑群依照佛经中关于宇宙结构的想象——“曼荼罗”的形式布局。雄伟的主殿“乌策大殿”象征宇宙中心须弥山。大殿周围十二配殿，象征须弥山四方海中的四大部洲和八小部洲，大殿前后各有日月两殿，象征日月二轮。
大殿东北、东南、西南、西北四角，分别建有形制和颜色各异的红、白、绿、黑四座佛塔，代表管理须弥山四方人类社会的四大天王，以镇服一切凶神魔煞。塔周围遍架金刚杵，形成108座小塔，每塔下置一舍利，象征佛法坚不可摧。寺院周围有一公里长的围墙，寓意佛经中的铁围山。围墙上每隔一米有一座红塔，真可谓千塔林立，故桑耶寺又有“千塔寺”之称。
乌策大殿是桑耶寺的精华所在。大殿坐西朝东，高三层，金顶为汉式风格，“无柱殿”代表印度式，其余为藏式风格。将三种建筑风格融会贯通，彰显着当时的一种开放心态。
大殿一层外面是大经堂，里面是佛堂，主供释迦牟尼及弟子像，左侧供莲花生，右侧供强巴佛。经堂左侧有古老的佛殿，里面有许多精美的石刻佛像，包括千手观音。右侧是护法神殿。周围有转经廊，廊下木柱林立，上有彩绘图案。回廊上绘满了精美的壁画。周围配殿内也有许多壁画，而且各具特点。
二层大殿的转经廊中和门外墙壁的壁画非常有名，它的题材广泛，内容丰富，技艺精湛。壁画内容成系列，有表现西藏的历史、桑耶寺的历史、莲花生大师传、佛祖释迦牟尼传和佛经故事的系列，也有反映民间世俗和宫廷生活的，还有战争、狩猎等题材。壁画绘制精美，人物的比例恰当，表情传神，色彩鲜艳。去桑耶寺的游客一定要注意欣赏乌策大殿一二层的壁画。二层左侧有一间偏殿，曾是达赖的经堂，里面藏着珍贵的文物，现为珍宝阁。
三层是无柱殿，也就是印度式建筑。殿内供着密宗护法神像。
四层主供藏王赤松德赞像。该殿顶梁呈多层塔状，结构错综复杂，为木制彩
赤松德赞是松赞干布的后代。吐蕃共有41代赞普，按照大排行，松赞干布是第32代赞普，赤松德赞是他之后5代，也就是第37代赞普。赤松德赞虔信佛教，由于他的提倡和筹划，桑耶寺才得以建成，并且佛教从此成为吐蕃的国教。赤松德赞与桑耶寺有很深的关系，他在位时期，桑耶成为西藏的政治文化中心。
乌策大殿门口悬挂着一口大铜钟，钟上铸有古藏文，十分罕见，据记载，这口铜钟是西藏地区所铸的第一口钟。大殿左侧有一“兴佛盟誓”碑，为藏王赤松德赞所立。钟下有一对汉白玉石象，造型古朴，有唐代雕刻之风。来寺庙朝拜的藏族群众在进寺之前都要摸一下玉石象，因此象身上被摸得油亮。这对玉石象是该寺石雕艺术的珍品。
桑耶寺周围树木葱郁，河渠萦绕，可谓世外仙境，海不日神山位于桑耶寺东，高约60米，是西藏四大神山之一。相传修建桑耶寺时，此地有群魔作乱，莲花生大师于此山上作法，以巨石降魔后才得以修成桑耶寺，因此山上有很多镇魔的佛塔。从海不日山上可以俯瞰桑耶寺，是拍摄全景的好地方。
桑耶寺是西藏最古老的寺庙之一。它的始建年代仅次于大昭寺，是西藏佛教前弘期的主要寺庙，它在西藏文化发展史上具有相当重要的意义。经过历史上朗达玛灭佛毁寺时期，又经历代战乱破坏，能够保存到今天的规模，应该视为珍宝。