唐朝的時候，有一個讀書人叫做張打油。有一次，天降大雪，大地一片白茫茫的，很好看。張打油對著美景，隨口吟了一首詩：“江山一籠統，井口黑窟窿。黃狗身上白，白狗身上腫。”
有些人一聽就樂了：“您這也叫詩？太俗氣了。”
張打油振振有辭地反駁道：“我寫的是最真實的雪景！”
人們仔細一琢磨，才發現張打油的詩確實很別致：“下雪天，江山一片混沌；白雪落在井裏，井口成了一個黑窟窿。而黃狗身上落了雪，成了白的；白狗身上落上雪，的確像身上腫起來了。張打油的詩很形象啊！”這樣，張打油會做“歪詩”的名氣就傳開了。
一天，縣官去廟裏燒香，見廟門前牆上寫著一首詩，其中有幾句是：有朝一日天晴了，使掃帚的使掃帚，使鍬的使鍬。縣官一看很不高興，說：“寺廟是上供燒香的地方，人人都應該嚴肅、鄭重。是誰這麼膽大妄為，把這種俗氣的詩寫在這裏？”
一個隨從說：“大人，這種詩隻有張打油才能做得出來。”縣官於是就命人去找張打油。
縣官見了張打油，喝道：“張打油，寺廟是莊嚴之地，你不恭恭敬敬地燒香，反而在此題了這首烏七八糟的詩。你是不是想蹲監獄啊！”
機靈的張打油並不驚慌，說：“大人，這詩如此粗俗，怎麼會是我寫的呢？我是個讀書人，我的詩自然都很文雅。不信，我做首詩您對比一番就清楚了。”
縣官一聽覺得有道理，就說：“目前有一股賊兵，正被困在南陽城中，你就以此事為題，做一首詩吧。”
張打油思索片刻，一仰頭，吟道：“百萬賊兵困南陽，也無援救也無糧。”縣官一聽，點著頭說：“很有氣魄！看來這牆上的俗詩真不是你做的。好，接著念！”
張打油又吟道：“有朝一日城破了，哭爹的哭爹，哭娘的哭娘。”這幾句一出口，眾人忍不住都哄堂大笑起來：“這和牆上的詩完全是一個腔調嘛！”縣官也被逗樂了，就沒有治張打油的罪。
這一來，張打油做的“打油詩”就被傳開了。後來，好些人也學張打油，用通俗、風趣的語言來做詩。這些詩通俗、易懂、順口，很受老百姓的歡迎。因此，打油詩的名字就此叫開了。