皇甫績生活於北周和隋朝時期，曾是隋朝有名的大臣，主輔隋文帝楊堅。皇甫績三歲的時候父親就去世了，母親一個人難以維持家裏的生活，就帶著他回到娘家住。他的外公韋孝寬見他聰明伶俐，又沒了父親，因此就十分偏愛他。
韋孝寬是當地很有名望的人家，家裏很富裕。由於家裏上學的孩子多，韋孝寬就請了個教書先生，辦了個自家私塾，皇甫績就和表兄弟們都在自家的學堂裏上學。
韋孝寬在教育上很嚴格，尤其是對他的孫輩們，更是嚴加管教，他在開始時就對孩子們立下規矩，誰要是無故不完成作業，就按照家法重打二十大板。
有一天，上午上完課後，皇甫績和他的幾個表兄躲在一個已經廢棄的小屋子裏下棋。因為貪玩，不知不覺就到了下午上課的時間，而大家都忘記了要做老師上午留的作業。
韋孝寬第二天知道了這件事，他把幾個孫子叫到書房裏，狠狠地訓斥了一頓。然後按照規矩，每人重打二十大板。
外公看皇甫績年齡最小，平時又很乖巧，再加上沒有爸爸，心裏不忍心打他。於是就把他叫到一邊對他說：“你還小，這次我就不罰你了。不過，以後不能再犯這樣的錯誤。不做功課，不學好本領，將來怎麼能做大事情？”
皇甫績和表兄們相處得很好，小哥哥們也都很愛護他。看到小皇甫績沒有被罰，心裏也並沒覺得爺爺偏心。可是，小皇甫績心裏很難過，他想：我和哥哥們犯了一樣的錯誤，耽誤了功課。外公沒有責罰我，這是心疼我。可是我自己不能放縱自己，應該也按照原先的規矩，被重打二十大板。
於是，皇甫績就找到表兄們，求他們代外公責打自己二十大板。表兄們一聽都很吃驚，接著都笑他傻，但皇甫績卻一本正經地說：“這是私塾裏的規矩，我們都向外公保證過觸犯規矩甘願受罰，不然的話就不遵守諾言。你們都按規矩受罰了，我也不能例外。”
表兄們聽了覺得在理，但都不好意思打他，而皇甫績則一再堅持要受罰，大家都被皇甫績這種信守規矩，誠心改過的精神感動了，於是大家就代替爺爺拿出戒尺打了皇甫績二十大板。
皇甫績個性誠實，學習勤奮認真，閱讀了大量的經史書籍，在幾個表哥中出類拔萃，後漸以博學聞名天下。魯公宇文邕聽說後，將他招為侍讀，又調為宮尹中士。北周武帝時，衛刺王發動宮廷政變，皇甫績不顧個人安危救護了太子，因此得到了周武帝的賞識和重用，升任小宮尹，侍奉太子。那時，北周政權正處在上升階段，滅亡北齊，統一了北方。宣政初年，皇甫績受封為義陽縣男，任禦正下大夫。