传说，唐朝有一个叫张打油的人很爱写诗。他的诗没有严格的格律，但读起来通俗易懂，而且诙谐有趣。
有一次，天下大雪，纷纷的雪花让大地和江河覆盖上白白厚厚的一层，面对着美丽的雪景，张打油诗兴大发，张口就吟出了一首诗：江上一笼统，井上黑窟窿。黄狗身上白，白狗身上肿。
很多人一听，就开心地笑了。
又有一次，也是大雪飘飞，整日不停，没多久，房上、地上又是白白的一片。张打油又诗潮涌动，他就随意在县衙门的一面墙上题写了一首诗：六出飘飘降九霄，街前街后尽琼瑶。有朝一日天晴了，使扫帚的使扫帚，使铁锹的使铁锹。
街上的人围在一起观看，大家不停地笑。
县官老爷看见以后，十分生气，就赶忙查问这墙上的诗为何人所写，怎么竟写到县衙门的墙上。结果有人怀疑是张打油。于是县令派人将张打油抓了来。县官老爷一看那张打油的形象，就觉得可能性不大，就用怀疑的语气问道：“你也能写诗吗？”
张打油毫不迟疑地回答说：“能，能，我能写诗哩！”
县官老爷说：“那好吧，我就以南阳被围做题目，你就当场吟一首吧！”
张打油低头沉思了一会儿，马上开口道：“天兵百万下南阳！”
刚吟出第一句，就被县官老爷打断了。他赞扬说：“这句写得好，很有气魄！”接着张打油又吟出了第二句：“也无求援也无粮。”
“往下说呀！”县官老爷催促道。
“有朝一日城破了，哭爹的哭爹，哭娘的哭娘！”
县官老爷一听，忍不住扑哧一笑，在场的人也都笑了起来。
县令笑罢，挥了挥手，让张打油下堂，他就再没有追究这件事了。从此，张打油就更远近闻名了，人们都觉得他的诗好懂而有趣。
人们把张打油创作出的这类语言通俗诙谐、不受格律限制的顺口溜称为“打油诗”。“打油诗”后来就变成了一个常用的词语。有时它往往作为自谦之词，人们谦虚地把自己的诗称为“打油诗”。如：我哪会写诗呀，只不过是些打油诗而已。