相國寺的名稱，始於唐朝，現在的相國寺是清朝重建後又修葺的。據《如夢錄》記載，相國寺這個地方原是戰國時魏公子無忌（信陵君）的故宅，宋代曾在此興建一座信陵亭，名為信陵坊。南北朝時期佛教盛行，北齊天保六年（公元555年）在此興建寺院，名建國寺，後毀於戰火。唐初這裏成了歙州司馬鄭景的宅園。
唐長安元年（701年）名僧慧雲從南方來到開封，用募化來的錢買下鄭景的住宅和花園，於唐景雲二年（711年）興建寺院，並根據施工中從地下挖出的北齊建國寺舊碑，又命名為建國寺，同時將募鑄的一尊高3米的精美彌勒佛銅像安置寺中。
建國寺重建時，唐睿宗為這個寺院親筆書寫了“大相國寺”的匾額，這就是相國寺的來曆。
唐代的相國寺，雖是初創，但由於是皇帝賜名，故聲譽很高。相國寺規模很大，建築豪華，唐天寶四年（745年）由邊思順負責修建的排雲閣是相國寺裏最高的建築物，閣高10米，和當時揚州有名的西靈塔同高，宏偉壯麗。唐代時的相國寺裏有許多著名壁畫，其中有大畫家吳道子在寺中畫的文殊維摩像珍品、名畫家石抱玉畫的護國除實患變相、車道天王像、智儼和尚畫的三乘因果入道位次圖以及大書法家李邕和大畫家韓幹等為相國寺創作的優秀作品，此外，還有雕塑大師楊惠之的許多雕塑佳作。藝術水平很高，得到當時人們的高度評價。
唐代相國寺，也是中外文化交流的場所。日本僧人空海在中國留學時，就曾在相國寺居住過。空海在中國專門學習佛法和文字，後來他用中國漢字的草體偏旁創造出一種名叫平假名的日文字母，平假名字母至今還在日文中使用，對日本文化的發展起了重大作用。
唐代相國寺豪華、宏大的高大建築屢遭雷擊火災，其中以後大順二年（891年）排雲閣被雷擊所引起的大火，造成的損失最為慘重。後有高僧貞俊主持募化，曆經數年重新修葺。
宋代，相國寺被封為皇家寺院，寺中著名和尚也都獲得皇帝親賜封號榮譽。北宋時期，是相國寺最繁盛的一個階段。宋太祖派大將曹翰征南唐打下江州（今江西九江），從廬山東林寺運回的五百個銅羅漢放到相國寺裏。宋太宗晚年對相國寺進行了一次大規模的擴建後，不僅規模擴大，而且寺容改觀。正殿高大，庭院寬敞，花木遍布，僧房櫛比，許多著名的藝術家的佳作，也薈萃於此。當時最有名的畫家高益、燕文貴、孫夢卿、石恪、高文進、雀白、李濟元等，都在相國寺畫出了他們的優秀傑作。宋代相國寺每月有五次廟會，商人達萬餘人，此外還有雜技、戲劇、說書的、賣藝的等文藝活動，十分繁華。當時人們形容相國寺是“金碧輝映，雲霞失容”。《東京夢華錄》記載有“相國寺每月五次開放，萬姓交易”之盛況。
北宋時代，相國寺不僅是全國佛教中心，而且也是國際佛教活動中心，許多國家的外交使節和僧侶都到相國寺參拜和學習佛法。宋太祖時，出家為僧的天竺（今印度）王子曼殊室利到中國後，曾在相國寺進行佛教活動，並將相國寺的盛況寫入自己的著作。宋熙寧七年（1074年），朝鮮崔思訓曾帶幾名畫家到中國，將相國寺的全部壁畫臨摹回國。宋徽宗時，曾將宋太宗寫的“大相國寺”匾額贈送朝鮮使者帶回國。可見相國寺在當時曾促進了佛教傳播，增進了中外交往等重要作用。
相國寺在金代和元代由於戰亂嚴重損毀，逐漸蕭條。到了明代。由於社會經濟發展，朱元璋又當過和尚、重視佛教，故對相國寺多次重修，所以相國寺又興旺起來。明成化十二年（1474年）曾一度將相國寺改名為崇法禪寺，明末崇禎十五年（1642年），黃河水灌淹開封城，相國寺變成一片廢墟。
清朝初年，在相國寺舊址廢墟上重建寺院。清乾隆十一年（1746年），乾隆皇帝命用銀一萬兩，對相國寺進行大規模重修，曆經兩年零七個月，才完成了浩大修建工程，從此相國寺又興旺起來。清時的相國寺，僅常住和尚就有300多人。清道光二十一年（1841年），黃河再次決民開封城內水深丈餘，寺中建築又遭到嚴重損毀。