孔子祛是會稽山陰（今浙江紹興）人，從小孤貧好學，下田耕耘，上山砍柴，常常隨身帶著書，一有空閑就拿出來誦讀。勤苦磨礪，終於通曉經術，尤其精通《古文尚書》。起初做官為長沙嗣王侍郎，兼任國子助教，前後四十次主講《尚書》，聽眾常常多達幾百人。