四賢祠又名靈濟廟，是座庭院式的建築，專為奉祀史祿、馬援、李渤、魚孟威四位修建靈渠的賢人而修建。乾隆《興安縣誌》稱於公元1355年由元朝地方官乜兒吉尼修建，但元代人黃裳則稱當年乜兒吉尼建祠時，已經有四賢舊祠，但由於年代已久，“廟貌窳陋，不稱神棲”。於是“撤敝為新，易卑以崇”。至於為什麼要立祠奉祀史祿四賢，黃裳也有很好的說法：“興安靈渠，自史祿始作以通漕，既而漢伏波將軍馬援繼疏之，唐觀察使李渤始為鏵堤以固渠，作陡門以蓄水，而防禦使魚孟威複增修之。更四賢之勤，曆秦漢暨唐，而後其製大備，以迄於今，公私蒙其利。……切惟嶺南之民，好祥瑞，侈祠宇，其俗固矣。惟茲四賢，其生也，於靈渠之興能合智以創物；其沒也，於靈渠之壞能攘患以庇民，是在祭法所當祀者，豈與他祀比哉？”
五、靈渠的意義
1.輔助秦始皇統一嶺南
靈渠的開鑿，出於秦始皇統一嶺南的需要；靈渠的開鑿成功，也確實使秦始皇統一嶺南的大業得以完成。正因此，靈渠被染上了非常濃厚的秦始皇的色彩，長久以來，它被稱為秦鑿渠，而靈渠與湘江故道之間的堤壩，則被稱為秦堤；有關靈渠的傳說，往往與秦始皇有關。
中國進入現代以來，民族國家意識日臻自覺。人們開始將秦始皇修長城和鑿靈渠相提並論。1943年，黎達睿為靈渠題寫一聯：
國寶並輝，北望長城一萬裏
仙源可辨，南流入海一千年
這可能是最早將長城與靈渠相提並論的文字。自此以後，人們一旦提到靈渠，總不免聯想到長城。
1963年，郭沫若遊覽靈渠之後，專門為靈渠寫了詩詞各一首。在詩歌序言中他評價靈渠：“斬山通道，連接長江、珠江水係，兩千餘年前有此，誠足與長城南北相呼應，同為世界奇觀。”
新世紀，學者楊炳也以極具浪漫情調的詩歌寫到靈渠的一個重要工程：“鏵尖不比長城短，不到鏵尖莫寫詩。”
一位從事旅遊管理工作的作者覃妮娜為了寫一篇關於靈渠的文章，在圖書館查閱了許多關於靈渠與長城的史料，她驚訝地發現：“這兩項工程是如此地“相近”--它們都稱得上是始皇帝的“得意作品”，經曆了幾乎完全相同的時代，而且，從某種角度說，靈渠的豐功偉績連長城都難以望其項背。它們的建造目的截然相反：長城的豎立是為了阻隔北方民族的南下掠奪，阻礙他們靠攏中原的腳步--顯然這個目標並沒有、也不可能實現。而靈渠在開鑿之初，即是一柄拓疆的利劍，依靠它，始皇帝把自己的版圖擴大了將近一倍……”
2.溝通長江與珠江兩大水係，使中國水運全盤皆活
從交通上說，靈渠最直接的作用是溝通漓江和湘江兩條江，擴大而言，則是溝通長江與珠江兩大水係，這是最通常的說法。
但是，靈渠的交通意義還不僅於此。
眾所周知，中國的大江大河黃河、長江、淮河、珠江主要呈現東西走向，這些江河彼此獨立，這種狀況就導致了中國內河航運不能形成一個天然溝通的體係，從而催生了中國古老的運河文明。
早在公元前486年，就有邗溝溝通了長江和淮河；公元前482年和361年，又先後有菏水和鴻溝溝通了黃河與淮河。也就是說，在秦始皇統一中國以前，長江、黃河、淮河這三大水係已經溝通，四大河流就差珠江還孤立在嶺南。
因此，秦始皇開鑿靈渠，溝通的不僅是長江與珠江水係，更是完善了中國內陸四大河流水係，使運河這種人工河流成為中國重要的文明形態之一。
唐代武則天時代，距離靈渠不到100公裏的桂林臨桂又開鑿了一條運河，即相思埭運河，又稱桂柳運河。相思埭運河連結了漓江支流良豐江和柳江支流洛清江，它不僅使廣西內河係統變得暢通便捷，而且使廣西與貴州的水上交通變得暢通便捷。由於有了相思埭運河，靈渠除了溝通中原與嶺南之外，又起到了溝通中原與雲貴的重要樞紐。
因此，姚漢源先生在為鄭連第《靈渠工程史述略》所寫的小序中認為：“靈渠是秦代三大水利工程之一，秦始皇二十八年【公元219年】用兵統一嶺南，使監郡禦史祿開鑿渠道，運輸軍餉。後此，曆代屢次增修，工程逐漸完善，兩千多年來常為溝通長江和珠江水運的樞紐，由它貫穿，可以通航兩流域的多數省份；還可以由江通淮、黃、海各水係。正如圍棋的眼一樣，它可以使大半個中國的水運，全盤皆活，意義不限於南方一個地區越五嶺、通三江的交通。”
更進一步，靈渠開通不僅完美了中國內陸航運係統，而且將中國內河航運係統延伸到了南海，通過南海進入了東南亞和印度，這就是著名的海上絲綢之路。
吳傳鈞先生《海上絲綢之路的回顧與前瞻》一文列舉了海上絲綢之路研究的一些重要觀點，其中認為：靈渠不僅溝通了長江水係和珠江水係，而且也為中原地區通達嶺南乃至北部灣沿海地區開辟了一條動脈，於是大大促進了嶺南西部地區、特別是以合浦為中心的入海三角洲地區的經濟開發。
1911年5月，一位名叫拉丕克的法國船長在中國做了一次水上旅行，之後，他寫了一篇《興安運河記》，講述了他對靈渠的體驗。他這樣寫道：