王安石第二次罢相之后，在钟山之麓过着隐居生活，常到附近的定林庵散心，这里的僧人便给他收拾一处专门的房舍，供他休息和读书。他在这里编着了有独特见解的《字说》。
一次，着名书画家米芾前来拜访他，二人品茗论文，十分畅快。米芾带着诙谐的口气说：“听说老相公正在编写一部《字说》，对文字的结构研究颇详，我曾听人巧借《鸳莺传赋》一字谜，久思不得其解，想当面求教。”接着便吟道：
莺莺小姐去上香，
香头插在几案上，
远看好似张秀才，
近看却是一和尚。
王安石听到“香头插到几案上”便已猜出此字，及至听到后边两句，不觉大笑称妙。他指着庵中远处走过的一个僧人，低声对米芾说：“我在此中天天相见，岂能猜不出来？此谜妙在后两句。从字形上看，的确与‘秀’字相似，而从字义上讲，却又的确是个和尚。”