唐末、五代及宋代初年，各地方割据势力——藩镇，都设有掌警卫的官员，有“衙内都指挥使”“衙内都监使”“衙内都虞候”等。这些职位多由长官的子弟担任，如五代时李嗣源、郭成等，都曾以其养子任衙内职。宋代以后，世俗相沿，人们便称官家子弟为“衙内”，这时“衙内”已不再是官职名称，而是像“王孙”“公子”“少爷”一样的称谓了。

起初，“衙内”一词并无贬义，但在文艺作品中，被称作“衙内”的多为倚仗权势、为非作歹和横行霸道的人，为人所痛恨。于是，“衙内”一词便有了贬义色彩。