唐大中年間（847—859年），日僧慧諤與山民在潮音洞上共建不肯去觀音院供奉觀音。在後梁末帝貞明年間（915—920年），擴建為寺，後來遷到梅福山東，靈鷲峰下，也就是現在寺院所建之處；另一種說法認為最早的不肯去觀音院即建於此地。在後周周世宗搗毀寺廟，命令僧尼還俗，從而達到富國強兵目的的時候，普濟寺正處於江浙錢氏吳越小朝廷的保護之下，躲過了一大劫難。
宋代佛教興盛，而且掀起改名浪潮，普濟寺先後改名為“五台圓光寺”與“寶陀觀音寺”，香火開始旺盛。宋嘉定七年（1214年），皇帝禦書“圓通寶殿”匾額，定為專供觀音的寺院。明朝朱元璋時代，普濟寺遭受了一次大劫難。明朝初年，倭寇就已經成為沿海的一大禍患，明政府不是采取主動進剿、積極防禦的政策，而是實施一種惹不起、躲得起的策略。明洪武十九年（1386年），朱元璋宣布實行海禁，命大將湯和進山燒殿毀佛，並將僧人遷到明州棲心寺（今寧波七塔寺），一直到明孝宗弘治元年（1488年）這一政策廢除，普陀島才迎佛回山，重建寺院。明世宗嘉靖年間（1522—1566年），普陀山的寺廟被毀，寶陀觀音寺也未能幸免。明神宗萬曆三十三年（1605年），朝廷派太監張千來山擴建寶陀觀音寺於靈鷲峰下，並賜額“護國永壽普陀禪寺”，寺廟規模宏大，一時在東南地帶首屈一指。明朝一代，普陀寺就遭受了至少兩次巨大的打擊。
清朝初年，為了打擊鄭成功領導的抗清武裝，清政府實施禁海的政策，將沿海三十裏的居民統統遷入內地，規定“寸板不準下海”，普濟寺自然不能幸免於難。與此同時，西方殖民勢力卻開始不斷滲透。康熙八年（1669年），荷蘭殖民者入侵普陀，該寺除大殿未毀外，其餘均蕩然無存。後來清朝廢除了禁海政策，並成功地解決了台灣問題，實現了祖國的統一，普濟寺才漸漸恢複元氣，康熙三十八年1699年，又重新修建護國永壽普陀禪寺，並賜額“普濟群靈”，始稱“普濟禪寺”。清雍正九年1731年，擴建殿堂及用房，寺廟規模之大，前所未有。
在清末的鴉片戰爭中，舟山群島成為抗擊英軍的前沿陣地，普濟寺也是飽經戰亂之苦，與其他廟宇不一樣的是，由於從明朝開始，西方勢力就開始了對中國的逐步侵蝕，因此，普濟寺受到的不僅是武力的直接威脅，而且最早也是最直接感受到國外宗教勢力的脅迫。當時英國遣派與清政府交涉的使節賴特寫到了一件至今聽來難以置信的事：佛教聖地普陀山上居然有基督教的遺跡！“普陀山僧侶們大約對受到康熙皇帝關照的在華天主教傳教士的勞作並不陌生，完全可以肯定他們是從葡萄牙、澳門那裏熟悉了基督教的信仰方式。在定海城公開銷售的商店裏，混有十字架以及救世主和聖母瑪利亞像出售。”這一情況說明，在明代的時候，居住在澳門一帶的葡萄牙人所信奉的基督教就已經在影響著觀世音菩薩的道場了，到了清代，這種影響已經公開化了。現在人們從西方當時的資料中還發現了一幅銅版畫：在外觀完全是佛教風格的普濟寺中，有一尊雕刻精美的大十字架。在這幅《普陀山普濟寺》的右部，正有一座單碑式的十字架。這種現象如何解釋呢？到底是寫真還是虛幻的誇張呢？為什麼在後來的中文資料中找不到相關記載呢？
在現有的中文資料中，的確找不到普陀山普濟寺曾經有過基督教十字架的記載。在鴉片戰爭前後，裕謙等欽差大臣確實毀壞了不少明清兩代歐洲商人留下的遺跡。普陀山上曾有基督教痕跡，這一幅銅版畫給出了實證。這些記錄和繪畫，不會是寫者的杜撰和畫家的捏造。事實上，中國的大門在明朝中葉就已經被打開了，由於葡萄牙、西班牙、荷蘭、英國、美國商人的關係，各國水手中有大量的歐洲和清國的基督教徒。基督信仰，在鴉片戰爭前就從澳門、馬六甲等地傳到了舟山。嘉慶年間，寧波的佛廟裏參合了道教，中國基督徒的家中也暗藏著佛龕和祖宗牌位。由此看來，普濟寺為吸引熱衷佛儒道基“四教合一”的信徒們，在廟前多架了一座十字架是完全可能的。所以說不肯留洋的觀世音菩薩卻是最早受到外國宗教勢力洗禮的菩薩。
·何以稱“佛國第一大寺”
普陀山經過曆代的興廢，除建有普濟、法雨、慧濟三大寺外，還有七十餘庵和許多茅蓬，世稱“海天佛國”。普濟寺號稱“佛國第一大寺”，既然如此，那它有哪些過人之處呢？