然而，就是這個“為富不仁，猥鄙可恥”的葉德輝，居然在學問方麵造詣很深。他少年時就讀嶽麓書院，清光緒十八年（1892），葉德輝考中二甲第九十五名進士，旋授吏部主事；同榜進士中有不少近代名人，如蔡元培、張元濟、趙熙、趙啟霖、蔣廷黻等。在吏部供職不過兩年，他便告假歸裏，自此不再出仕。葉德輝是清末民初湖南乃至全國赫赫有名的大藏書家、出版家和版本目錄學家。其藏書之富甲三湘，出版古籍之多雄視全國，研究版本目錄功力之深於同時代無人能及。其版本目錄之學堪稱一代之冠。他的《書林清話》、《書林餘話》、《觀古堂書目》及《郋園讀書誌》，在當時是版本目錄之學的名著，在今日亦是學林的經典。
葉德輝之死，震驚全國。據說也是王國維朝昆明湖縱身一躍的誘因之一。但無論新派舊派，幾乎沒有一個人作挽詞。葉氏之死，曾引起湖南文化名人及全國文化名人的巨大震撼。毛澤東的老師、曾任過湖南省立第一師範校長，國民政府農礦部部長的易培基與當過湖南省都督、國民政府主席、行政院長的譚延愷談起葉德輝被殺的前後經過，相對傷悲。梁啟超先生剖析王國維死因時曾雲：“他（指王國維）平時對於時局的悲觀，本極深刻。最近的刺激，則由兩湖學者葉德輝、王葆心之被槍斃。靜公深痛之，故效屈子沉淵，一瞑不複視。”數年之後，新文化運動的領袖之一胡適博士作過一首《悼葉德輝》的白話詩：“郋園老人不怕死，槍口指胸算什麼！生平談命三十年，總算今天輪到我。殺我者誰？共產黨。我若當權還一樣。當年誓要殺康梁，看來同是糊塗賬。你們殺我我大笑，我認你們作同調。三十年來是與非，一樣殺人來翼教。”話雖直白，卻又意蘊深長。惋惜、調侃、批判、敬意中帶著不恭和詼諧，巧妙道出了當時中國政局的狀態。但胡適在這首小詩中犯了一個大錯誤：殺葉德輝的不是共產黨，而是國民黨省黨部領導下的特別法庭。
毛澤東在中共八屆十二中全會閉幕會（1968年10月）上，專就葉德輝之死說了這麼一句話：“這個保孔夫子、反對康有為的，此人叫葉德輝。後頭顧孟餘問我，有這件事嗎？我說有這件事，但是情況我不大清楚，因為我不在湖南。對於這種大知識分子不宜於殺。那個時候把葉德輝殺掉，我看是不那麼妥當。”