噶玛寺位于昌都县扎曲河上游约120公里的噶玛区白西山麓的幽静山谷里，是噶玛噶举派的祖寺。由噶玛巴·都松钦巴于1185年创建，距今已有八百多年历史。
噶举派是藏传佛教四大派之一，噶玛噶举派是噶举派的重要分支。噶玛寺是早期噶玛噶举派宗教和政治的活动中心。第二世噶玛活佛噶玛巴希时代，噶玛噶举派在康区形成了很大势力。拉萨附近的楚布寺建成后，该派的宗教和政治中心逐步转移到楚布寺，昌都地区的噶玛寺逐渐趋于衰落。但作为祖寺，在宗教上还有重要的象征意义。据说噶玛巴活佛系统每次转世灵童坐床前，应在噶玛寺举行象征噶玛派宗教和政治地位的黑色金边帽戴帽仪式。
藏传佛教活佛转世制度就起源于该派。
噶玛寺的整体建筑以大佛殿作为主体，围绕着佛殿建了历代噶玛巴活佛的卧室、强巴佛殿等。大经堂正门挂着藏汉两种文字刻写的门匾，内容是：“大明皇帝迎请如来大宝法王西天大善自在佛室楼”。
大经堂为单檐歇山形式，用石块砌成墙，墙面整齐无缝。屋顶中央立有铜质法轮，屋面覆盖琉璃瓦，屋檐正中是藏族工匠设计建设的狮爪型飞檐，右边为纳西族工匠建造的象鼻型飞檐，左边为汉族工匠建造的龙须型飞檐。大殿内一尊17米高的弥勒佛，是目前昌都地区保留下来的最大的泥塑佛像。
由于噶玛寺建寺时间早，佛殿内的壁画形成也相对较早，壁画的色彩、线条、人物造型具有很高的艺术价值。经堂内殿有一个叫“喇嘛拉康”的小殿，是噶玛巴·都松钦巴时建的早期殿堂，墙面画有噶举派的诸大师和噶玛噶举派的历代活佛。
寺院外面有三座高大的泥石结构佛塔，中间是噶玛巴·都松钦巴的舍利塔，右边是八邦司徒的塔，左边是都松钦巴得意门生的灵塔。塔的旁边还有一座灵塔殿，俗称无柱殿，殿内供有噶玛巴希的佛牙，墙面上方画有历代噶玛活佛的像，下方画有八邦寺历代司徒活佛的像，其中司徒画像中有汉族使臣到过噶玛寺的历史画面。