从明朝开始，在官服上绣以飞禽走兽，以标志官员的等级。据《明史·舆服志》和《清史稿·舆服志》记载：“文官绣禽，武官绣兽”，而且等级森严，不得逾越。因此，布衣做官为将被称作“衣冠禽兽”。明代对官员服饰胸前图案有规定：　文官官服绣飞禽，武官官服绘走兽。文官一至九品穿绯袍(大红袍)，分别绣仙鹤、锦鸡、孔雀、云雁、白鹂、鹭鸶(即白鹭)、鸳鸯、鹌鹑、练雀。武官一品、二品绯袍分别绘麒麟、狮子，三品、四品绯袍分别绘豹、虎，五品青袍绘熊，六品、七品青袍绘彪，八品、九品绿袍分别绘犀牛、海马。衣冠上绣的禽兽越是珍奇，他的品位也就越高。因此那些布衣做官为将者被称作“衣冠禽兽”，颇有点羡慕、赞扬的味道。

明朝中期以前的“衣冠禽兽”是赞语，到明朝中晚期，宦官专权，官场腐败，做官为将者声名狼藉，百姓视他们为瘟神盗匪，于是便贬称其义，转而把那些为非作歹的文官武将称作“衣冠禽兽”。其贬义之称，最早见于晚明陈汝元的《金莲记·构衅》：“人人骂我做衣冠禽兽，个个识我是文物穿窬。”清代以来“衣冠禽兽”也就成了那些行为如同畜生为众所不齿的贪官酷吏的代名词。现在“衣冠禽兽”借指行为卑劣、道德败坏，如同禽兽之人。