在古人对阴阳五行的认知中，绿色是黄色的敌对色。古代皇帝穿的龙袍都是明黄色，与黄色敌对的绿色就被视为低等的颜色。

唐代末等官员穿的官袍就是绿色的，在历朝历代的民间，地位低下者也常穿绿色。到了汉代，地位低下者不能戴帽子，只能裹绿头巾，称为“绿帻”。

唐代贞元年间，犯错的官吏，也被要求戴绿头巾。到了元朝，家里有女性从事特殊行业的，其男性家属被要求戴绿头巾。

后来，绿头巾渐渐成为出轨的符号，明代的《七修类稿》里也出现了同样的记载。

到了近代，人们不戴头巾了，“绿头巾”也被“绿帽子”替代。大约从这个时候起，“绿帽子”就成了出轨的代名词。历史