在古代，“牙”象征兵器、武力。《周礼·春官·典瑞》中说：“牙璋以起军旅。”“牙璋”是国君用以发兵的符节(后来用铜虎符代替)，上面雕有隆起的牙。因猛兽用牙来保卫自己，所以人们就用“牙”来象征“兵”。而武将、武士也就被称作“爪牙”(当时非贬义)，他们的服饰上也有不同的兽面獠牙的图案。

古代军队中有牙旗，两边剪裁如牙状，也可直接用象牙装饰在竿端，悬旗于上。之所以用“牙”，是取其象征武力捍卫之意。东汉·张衡《东京赋》：“戈矛若林，牙旗缤纷。”三国时代的薛综注解说：“牙旗者，将军之旌。古者天子出，建大牙旗，杆上以象牙饰之，故云牙旗。”古代君王、将军统率士兵出征，常会在军营门口设置牙旗，军中听到号令，一定会到牙旗之下集合。所以营门也叫“牙门”，是军中办公的地方。“牙门”的地位非常重要，稍有差池，将影响军心和士气。《后汉书·袁绍传》：“遂到(公孙)瓒营，拔其牙门，余众皆走。”公孙瓒军营中的“牙门”被攻破，部下只好四散逃走。古代军营中的“牙旗”又简称“牙”。《三国志·吴志·胡综传》：“又作黄龙大牙，常在中军，诸军进退，视其所向。”从这里可以看出，在主帅指挥作战中，牙旗起号令三军的作用。

“牙门”的意义逐渐由军营之门发展为指称官署之门。例如《南史·侯景传》：“侯景为丞相，居于西州，将率谋臣，朝必集行列门外，谓之牙门。”又如《北史·宋世良传》：“郡无一囚，每日牙门虚设，无复诉讼者。”这两个例句中的“牙门”已经不是军中的办公之处，而是一般的官府之称。在南北朝时期，“牙门”已经演变成为现今的“衙门”之意。

唐·封演在《封氏闻见记》一书中，对“牙门”演变为“衙门”作了说明。他说：　近代通谓府庭为“公衙”，“衙”本作“牙”。“近俗尚武，是以通呼公府为公牙，府门为牙门，字稍讹变转而为衙也。”宋朝的丁度奉宋仁宗诏令所修的《集韵》也说：　古者军行有牙，尊者所在，后人因称其所治之处为“衙”。“衙门”本来应该写成“牙门”。

“衙”在《说文》中的解释是“行走之貌”，即“行走时的形貌”。“衙”字的构造是“从行，吾声”，读音为yú，又音yá，是个多音字。读为yá时可用作姓氏，例如汉朝有长平令衙谨卿，晋朝有将军衙博。但是后来使用频率最高的乃是“衙门”一词中的“衙”。唐以后，“衙门”一词迅速流行，到了北宋，人们就几乎只知有“衙门”而不知有“牙门”了。