宗吾的父親，名高仁，字靜安。他原是在外學生意的，自父親去世後，便為家農，與他的妻子共同操作，終日勤勞的情形，一如他的父母。常常取出他的父親遺留的扁擔，以作警戒，因而家道漸裕，得以購置田產。不幸在四十歲上，因勞致疾，醫生警告他說：“趕緊把家務丟了，安心靜養，否則非死不可！”他便把家務完全交付給妻子，自己專心養病。三年之後，始得痊愈。他在養病期間，才得到看書的機會，先尋到三國演義、列國演義等書來看，以後就看起四書講章來，他一看再看，於是從中就看出道理來，便是“書即世事，世事即書。”
後來隻看三本書，其他各書全不看了。哪三本書呢？一是《聖諭廣訓》，這書是乾隆所頒行天下的，後附朱伯盧的治家格言。二是《劌心要覽》，還隻是看全書中的一本，中載司馬光及唐翼修等名言，他呼之為格言書。三是楊繼盛參嚴嵩十惡五奸的奏折，後附遺囑（是椒山赴義前夕，書以訓子的，所言皆居家處事之道)。此外還有一本三字經注解，信不常看。就是那三本大書中，還隻有前二書是他手不釋卷的。臨死前數日，猶閱讀不忍放下。他常說：“書讀那麼多幹什麼。每一書中，自己覺得那一章好，即把他死死記下，照著去行；其餘不合心意的，就不必看了。”
他最愛高聲朗讀的，在《聖諭廣訓》中，有這兩句：“人不知孝父母，獨不思父母愛子之心乎?”在《劌心要覽》中，有這幾句：“貧賤生勤儉，勤儉生富貴，富貴生驕奢，驕奢生淫佚，淫佚又生貧賤。”
他讀書固然是如此之少，而平生從未寫過一個字，尤其稀奇。當宗吾七八歲時，發生一件急事，他父親叫他拿筆墨來，等他拿來了他父親又說不寫了。但是宗吾偏說：“我的奇怪思想是發源於我父，讀書的方式，也取法於我父。”這事，久後當加以證明。
宗吾的父親自大病之後，即不敢再作笨重的工作，不過偶爾扯扯甘蔗葉，或種胡豆時蓋蓋灰罷了。但有暇即看書，自然是他心愛的那幾本書，每當工人到田裏工作時，他便攜著煙竿，或火籠(一種烤火爐)，挾著書，坐在田邊，時而同工人談天，時而自己看書。他對於農事，異常內行，每晨必巡視壟—次，常說：“我睡在家中，工人在田間工作的情形，我都知道。”當家人從田間歸來，他常問：“工人到何處了？”如果因未留心，對答得不確實，他便笑著道：“不要瞎說！”