传说，唐朝有一个叫张打油的人，很爱写诗。他的诗没有严格的格律，读起来却通俗易懂，而且诙谐有趣。
有一次，天下大雪，纷纷的雪花把大地和江河覆盖上白白厚厚的雪，到处是白皑皑的一片。面对着这美丽的雪景，张打油诗兴大发，张口就吟出了一首诗：
江上一笼统，井上黑窟窿，
黄狗身上白，白狗身上肿。
很多人一听就开心地笑了。
又有一次，也是大雪飘飞，整日不停，没多久，房上、地上已是白茫茫的一片。张打油又诗情涌动，他就在县衙门的一面墙上题了一首诗：
六出飘飘降九霄，
街前街后尽琼瑶。
有朝一日天晴了，
使扫帚的使扫帚，
使铁锹的使铁锹。
街上的人围在一起观看，不少人在笑。
县衙门的老爷看见，十分生气，赶忙查问这墙上诗是何人所写，怎么能写到县衙门来。县老爷一看张打油的形象，觉得可能性不大，就用怀疑的口气问道：“这是你写的诗？”张打油答道：“是我写的！”
县老爷说：“那好吧！我就以南阳被围作题目，你就当场吟一首吧！”张打油低头思考了一会儿，马上开口道：“天兵百万下南阳”！
老爷听了头句后，非常高兴地说：“这句说得好，有气魄！”“也无救援也无粮。”张打油吟出了第二句。
“往下说呀！”县老爷急着催问。
“有朝一日城破了，哭爷的哭爷，哭娘的哭娘！”
县老爷一听，忍不住扑嗤一笑，在场的人也都笑了起来。
县令笑罢，挥了挥手，让张打油下堂，他没有再追究这件事。
从此，张打油就远近闻名了。人们把其创作出的这类内容、词语都很通俗诙谐，不拘于格律的诗称为“打油诗”，“打油诗”后来就成为了一个常用的词语。