“衙門”是對舊時官府的別稱。衙門一詞由“牙門”轉化而來。“牙門”，古代軍事用語，是軍旅營門的別稱。古時經常發生戰爭，打天下守江山都要依靠武力，因此帝王們對軍事將領尤為器重，為此軍事長官們感到非常榮耀，便將猛獸的爪、牙置於辦公處，後又在軍營門外以木頭刻畫成大型獸牙作為裝飾，也會將軍營中裝飾有獸牙的旗幟邊緣剪裁成鋸齒形，並將這種旗幟稱為牙旗。於是，營門便有了“牙門”這一別稱。
由於舊時官府非常氣派，所以百姓又用“牙門”來代指官府。如《武瓦聞見記》中記載：“近俗尚武，是以通呼公府為‘公牙’，府門為‘牙門’，字稍訛變轉而為‘衙’也。”唐朝以後，“衙門”一詞廣為流行，到了北宋以後，人們就幾乎隻知道“衙門”而不知“牙門”了。