清初康熙十二年癸醜（公元1673），於成龍任黃州同知，鎮守歧亭。他來到杏花村故址，拜謁季常先生之墓，遂“鳩工庀材於墓側”，建“宋賢祠”，祀陳先生。“上雨旁風，蔽虧陰翳，令士子輩篝燈兀兀，洛誦蓬廬；俾歲時伏臘，追奠前賢，依依如覿麵語。”（乾隆《麻城縣誌》下卷3胡鏁《歧亭杏花村記》）有於成龍《宋賢祠碑引》（光緒《麻城縣誌》卷4）為證：
歧亭之有季常也，非歧亭有季常，乃季常有歧亭耳。由來人以地傳者十一二；地以人傳者十八九。餘每讀《方山子傳》，因感其初在歧亭時，韜晦勳閥，庵居茹蔬，歧中人士莫之器識。迨東坡公一過杏花村，坐蕭然環堵中，依依有故人情。一旦使其地與人並傳千古，是黃州之有歧亭；因季常之一寓，而歧亭之有季常；又因蘇子之一識，故夫歧亭之得名良有以也。餘奉□命守鎮茲土，將三載。計三載中，承委署郡邑者四，監兌給賑者二，暨詣□天顏，自□闕下數月，乃得還黃。其間，仆仆奔走，頗為鞅掌。是年春朔之杪，始偕歧中士子過杏花村，謁季常先生墓，尋昔時所謂蕭然環堵者，竟不可得。噫嘻，賢人處此，何今古落落多同乎？爰與諸紳士約謀建茆椽數間於杏花村址，邀士子讀書其中。歲時伏臘，豆雞壺酒，奠飲於季常先生墓側。餘聞光黃間多隱君子，後有賢人處此，必以此都人士能深緇衣之好，亡者尚爾，存者可知。自餘來歧後，俾賢人接踵，俗美風醇。庶幾乎，大宋團練使一識之於前，五百載重溫之於後，東坡或不笑餘之陋劣矣！是為引。
至清乾隆二十年（1755），同知邱賜書來丞歧亭，修葺宋賢祠，並增設“清端祠”，鐫有《重勒宋賢祠記》石碑一通，仍存杏花村故址內。
重勒宋賢祠記
（特授湖北黃州府鎮歧亭界清軍左堂加三級紀錄十次邱賜書敬撰）季常先生者何？光黃之異人也。何異乎爾？異其始則使酒好劍，馳騁當世；繼則遁跡光黃，不與世相聞問。至坡仙謫居黃州，訪故人之廬，相與往來贈答，始知歧亭有季常，而季常遂得為歧亭有焉。迄乎魂銷光化，屍束木皮，而處士風流於今宛在。前任於公恐先賢遺跡日久湮沒，使後人靡有瞻仰，爰於墓前隙地構屋三楹，顏曰“宋賢祠”。招僧住其內，以供朝夕。詎人事迭更，頓為刁僧盤踞，牛眠三尺，等於牛山。繞墓鬆楸，旦旦而伐，迨都人士以盜木者尚敢寔逼此處，以與我先生爭此土也？予於乙亥秋，承乏歧黃，念士民好古情深，即為驅逐。另募高僧，以期永奉，是亦守土者之責分宜然耳。若欲景仰前賢，希蹤往哲，季常有知，當亦笑予之不自量矣。是為記。
仝闔鎮紳士重刊；住持僧懷清永奉
皇清乾隆貳拾年歲在乙亥孟冬月穀旦立
相傳乾隆皇帝下江南時，沿光黃古道自邾城遊杏花村，並為杏花村題字“杏花古刹”，後石刻為匾額，懸於山門之上。自此，“宋賢祠”香火益發鼎盛。“杏花古刹”的石刻匾額毀於四十年前的“文革”初期。
至清晚期鹹豐間，太平軍在麻城及大別山一帶作戰多年，宋賢祠也在戰火中燒毀，麻城陷落，數千將士陣亡。遂於鹹豐九年（1859）乙未，繼任黃州同知王震（字省三）於杏花村舊址重建“宋賢祠”以祀蘇陳，建“清端祠”以祀於成龍及平定“東山起義”之陣亡將士，增建“忠節祠”，以祀在與太平軍作戰中死難的李忠武公續賓（字迪庵）以及在黃陣亡將士。此謂之“歧亭三祠”，而杏花村則統稱為“杏花書院”。市博物館藏有杏花村石碑三通。其中二通為《宋賢祠忠節祠碑記》，碑石規格相約，通高123厘米，幅寬68厘米，厚約12厘米，唯石材不同，一塊為白色大理石，一塊為灰色下江石，碑文內容基本一致，隻數字有別，書體鐫刻不盡相同。
“宋賢祠忠節祠碑記”額文小篆陰刻，左行橫書。碑文楷體直書，另題曰“歧亭重建宋賢祠並建忠節祠記”，正文20行，滿行33字（另一碑文不同處錄於括號中，以備考）。全文如下：
歧亭重建宋賢祠並建忠節祠記
刑科給事中會稽宗稷辰撰（另一碑無此前款）
古赤亭地，後為歧亭。在光黃之交，為守淮要鎮。當宋神宗時，中原無事，有世家傑士陳公季常先生嚐隱居於此，稱方山子。初，射獵山中，意氣甚壯；久之，乃益韜晦，惟嘯歌自娛。蘇文忠與舊故，迨謫黃州，訪之於歧下杏花村，大異之。其生平蓋懷文武才略，不得用於世，竟以隱終。沒後即葬於是村之山原，碑石至今存焉。我□朝康熙癸醜歲，於清端公官歧亭司馬，始與士流為之建祠於墓前。以方山子由文忠而傳，祀陳必兼祀蘇，故顏曰“宋賢祠”。清端嚐（常）講學其中雲。清端後數十年，有邱公名賜書者，來丞歧亭，複為培植其墓木，修葺其祠宇，居民思清端之德，即祠中祀清端，至今又曆百餘年矣。前此已久不治，近年更迭遭兵燹（近年遭粵寇之擾），並頹垣敝甃而無存。幸清端與後司馬之遺碣尚臥荒煙蔓草間，今署司馬王子省三剔蘚濯泥而讀之，怦然動中，與士民謀修複，皆同聲稱願。省三且謂眾曰：“光黃間多氣節之士。自粵逆擾黃，一時義旅所聚，如赴私鬥，雖婦女亦皆曉然，於死生輕重之故，而無所於避。幸迪庵李公掃蕩醜類，廓清全黃，方慶更生。而戊午之春，賊複由間道竄入，旬月之間，麻城、黃安相繼告陷。維時李公克複九江，複親率一旅之師，以再造此二邑民。宜二邑之民，於公三河殉亂後，迄今感泣，思念而不能忘也。《記》曰：‘能捍大難則祀之，以死殉事則祀之。’盍於舊址三楹外增建忠節一祠，以祀李公及在黃死節諸公，而以麻安之死於寇者附祀焉。”紳民更莫不慨然，以並舉為當者。遂集貲鳩材，興工於乙未年三月，而於九月望日蕆（告）厥事（成）焉。後之人紹清端之跡而崇宋賢，推清端之意而勵（勸）忠節。常則效而修明之用，以示向方、善風俗。則今日之舉，其有裨於世道人心者豈淺鮮也哉（其感發興起於人心風俗豈淺鮮哉）！省三於千裏外馳書請記其事，遂為之記，使鋟諸石。