“衣冠禽兽”一语来源于明代官员的服饰。据史料记载，明朝规定，文官官服绣禽，武官官服绘兽。品级不同，所绣的禽和兽也不同，具体的规定是：
文官一品绣仙鹤，二品乡绣锦鸡，三品绣孔雀，四品绣云雁，五品绣白鹇，六品绣鹭鸶，七品绣鸳鸯，八品绣黄鹂，九品绣鹌鹑。
武官一品、二品绘狮子，三品绘虎，四品绘豹，五品绘熊，六品、七品绘彪，八品绘犀牛，九品绘海马。
文武官员一品至四品穿红袍，五品至七品穿青袍，八品和九品穿绿袍。
明朝官员服饰
所以，当时“衣冠禽兽”一语是赞语，颇有令人羡慕的味道。
到了明朝中晚期，宦官专权，政治腐败。文官武将欺压百姓无恶不作，声名狼藉，老百姓视其为匪盗瘟神，于是，“衣冠禽兽”一语开始有了贬义，老百姓对为非作歹、道德败坏的文武官员称其为“衣冠禽兽”。
其贬义之称，最早见于明末陈汝元所著《金莲记》一书。清代以后，“衣冠禽兽”一语遂用做贬义，泛指外表衣帽整齐，行为却如禽兽的人，比喻其道德败坏。（据《文史掌故》夏华/文）