噶瑪寺位於昌都縣紮曲河上遊約120公裏的噶瑪區白西山麓的幽靜山穀裏，是噶瑪噶舉派的祖寺。由噶瑪巴·都鬆欽巴於1185年創建，距今已有八百多年曆史。
噶舉派是藏傳佛教四大派之一，噶瑪噶舉派是噶舉派的重要分支。噶瑪寺是早期噶瑪噶舉派宗教和政治的活動中心。第二世噶瑪活佛噶瑪巴希時代，噶瑪噶舉派在康區形成了很大勢力。拉薩附近的楚布寺建成後，該派的宗教和政治中心逐步轉移到楚布寺，昌都地區的噶瑪寺逐漸趨於衰落。但作為祖寺，在宗教上還有重要的象征意義。據說噶瑪巴活佛係統每次轉世靈童坐床前，應在噶瑪寺舉行象征噶瑪派宗教和政治地位的黑色金邊帽戴帽儀式。
藏傳佛教活佛轉世製度就起源於該派。
噶瑪寺的整體建築以大佛殿作為主體，圍繞著佛殿建了曆代噶瑪巴活佛的臥室、強巴佛殿等。大經堂正門掛著藏漢兩種文字刻寫的門匾，內容是：“大明皇帝迎請如來大寶法王西天大善自在佛室樓”。
大經堂為單簷歇山形式，用石塊砌成牆，牆麵整齊無縫。屋頂中央立有銅質法輪，屋麵覆蓋琉璃瓦，屋簷正中是藏族工匠設計建設的獅爪型飛簷，右邊為納西族工匠建造的象鼻型飛簷，左邊為漢族工匠建造的龍須型飛簷。大殿內一尊17米高的彌勒佛，是目前昌都地區保留下來的最大的泥塑佛像。
由於噶瑪寺建寺時間早，佛殿內的壁畫形成也相對較早，壁畫的色彩、線條、人物造型具有很高的藝術價值。經堂內殿有一個叫“喇嘛拉康”的小殿，是噶瑪巴·都鬆欽巴時建的早期殿堂，牆麵畫有噶舉派的諸大師和噶瑪噶舉派的曆代活佛。
寺院外麵有三座高大的泥石結構佛塔，中間是噶瑪巴·都鬆欽巴的舍利塔，右邊是八邦司徒的塔，左邊是都鬆欽巴得意門生的靈塔。塔的旁邊還有一座靈塔殿，俗稱無柱殿，殿內供有噶瑪巴希的佛牙，牆麵上方畫有曆代噶瑪活佛的像，下方畫有八邦寺曆代司徒活佛的像，其中司徒畫像中有漢族使臣到過噶瑪寺的曆史畫麵。