武氏被立为皇后之后，褚遂良被贬为潭州（今湖南省长沙市）都督，唐显庆二年（公元657年），褚遂良又被调到桂州（今广西壮族自治区桂林市）担任总督，不久，又被贬为爱州（今越南清化）刺史。褚遂良曾向李治上书，陈诉自己的忠诚和冤情，但李治当时听信武则天的谗言，并未听从褚遂良的进言。显庆三年（公元658年），褚遂良在爱州逝世，终年六十二岁。 褚遂良逝世后两年多，宰相许敬宗、中书舍人李义府上奏诬陷褚遂良和长孙无忌曾经意图谋反，因此褚遂良生前的官爵被夺去，其子孙也被发配流放到爱州。直到唐弘道元年（公元683年），李治逝世，才在遗诏中允许褚遂良的子孙后代返回中原。唐神龙元年（公元705年），武则天在遗诏中恢复了褚遂良的爵位。神龙政变后，褚遂良被追谥为“文忠”，配享高宗祠庙。
