有一天，李缘铭的妻子准备上街卖点饰品，但此时正值中午，太阳高悬，于是她便把自己丈夫平时戴的帽子戴在了自己头上，而当时的文人都喜爱戴着绿色的帽子。也许是因为文人们觉得绿色有青春蓬勃之意。然而，这顶绿帽子却给了李缘铭的妻子的电石火花般的灵感，使她在无意之中突然想出了一个好的主意。于是每当李缘铭不在家的时候，她便戴着他的绿帽子在外面走动，隔壁男子看到后就心领神会，前来偷情。
就这样，他们二人时常偷情，自以为万无一失，不想事情总有出乎意料的时候。终于有一天，因为一卷诗词忘在家中，才出门不久的李源铭便急匆匆的赶回了家，结果撞见了自己的妻子和隔壁男子正在偷情的场面。一向以文雅风流自居的李缘铭不禁恼羞成怒，一气之下休掉了美貌的妻子。从此他的妻子和那隔壁男子偷情的事情也逐渐流传开来，成为街坊邻居的笑谈。于是，后来人们便把那些不守妇道背着自己相公偷汉子的事情叫做戴“绿帽子”。
当然，从此以后，绿帽子就成了男人的忌讳，文雅之士们便不再戴绿颜色的帽子了。“绿帽子”是由荡妇偷情信号演变而来的说法一直流传自今。
