陶季直很小就聰慧，祖父陶湣祖非常疼愛器重他。有一次，湣祖有意把四匣子銀子放在麵前，叫孫子們隨便拿，陶季直當時才四歲，隻有他不取銀子。旁人問他為什麼，他說：“爺爺如果是賞賜給人的，就應當先給父親、伯伯們，不應先給我們孫子們，所以我不取。”陶湣祖對他更為稱奇。