平遥设县很早，但早期的衙署旧址已不存，现存的是元、明、清时期的县衙署，初建于元朝，明洪武三年（1370）重建，至今已600多年，后来又多次扩建重修，形成现在的规模。整座衙署坐北朝南，呈轴对称布局，南北轴线长200余米，东西宽100余米，占地26000余平方米。
其实，国内保存下来的县衙不止这一处，几年前在江西参观过浮梁县衙，保存的也很完整，但就面积以及整体规模而言，平遥县衙大概算是最大、也是最完整的一个。
县衙内的主要建筑沿中轴一字排开，依次为∶衙门、仪门、牌坊、大堂、宅门、二堂、内宅、大仙楼。
衙门与仪门之间的第一进院，东西厢窑各7间，为赋役房；
仪门与大堂间的第二进是个大院，东西厢设“六房”即吏、户、礼、兵、刑、工房。
大堂是知县办理公务的主要场所，在县衙署建筑中，规格最高，因而堂前配有月台。大堂为五楹厅堂，中间三楹为公堂，大堂屋檐下悬横匾“亲民堂”。为了旅游的需要，现在每天固定进行“升堂”表演。我们到的时候正好赶上了，围在月台前看了一会儿。
大堂背后为二堂，自成四合院落，且同后面内宅相通，所以二堂院门也称宅门。二堂是知县处理日常公务、会见来客的地方。二堂内东西耳房分别为“简房”、“招房”，为县丞、典史的办公处所。县丞为知县之助手，正八品；典史无官品，即“未入流”。“掌稽检狱囚。无丞、簿，兼领其事”。
穿过二堂即为内宅，是知县的生活区。中轴线上的最后一座建筑是“大仙楼”，上面供奉着守印大仙，即狐仙，清代官衙奉狐仙为守印大仙。这座大仙楼是平遥县衙中仅存的元代建筑物，下层为窑洞式建筑，上层为楼阁。原名观云楼，清代改称大仙楼。
县衙中轴线主体建筑群之外，还分布有一些“配套”的附属建筑，院西有牢狱、公廨房、督捕厅等，院东有彰瘅亭、钏楼、土地祠、酂侯祠、粮厅和花园。
监狱里还建了一个小小的狱神庙，一排牢狱监房当然是复建的。
县衙东路的粮厅是县衙储存粮食的地方，大门上写有“常平仓”；酂侯祠则是衙神庙，“酂侯”是西汉开国丞相萧何，为历代统治者所推崇，各府县衙门里设祠纪念他，称他为“衙神”。酂侯祠正殿前有献亭，现在成了游客休闲喝茶的地方。
酂侯祠前有土地祠，供奉的土地爷，据说是县衙的老建筑，墙壁上的壁画也是原物。与土地祠相对的是戏台，戏台基座中央是一个甬道，通往前边的小院子，临街有钟楼，钟楼有台阶通往听雨楼。
整个县衙建筑群，主从有序，布局对称，前朝后寝，格局严谨，堪称古代州县衙署文化的博物馆。
记得那年参观浮梁县衙，对里面的对联印象很深，平遥县衙的对联也很有意思，如仪门楹联“门外四时春和风甘雨，案内三尺法烈日严霜”；大堂楹联“吃百姓之饭穿百姓之衣莫道百姓可欺自己也是百姓，得一官不荣失一官不辱勿说一官无用地方全靠一官”；二堂楹联“与百姓有缘才到此地，期寸心无愧不负斯民”；大仙楼楹联“柴米油盐酱醋茶除却神仙少不得，孝悌忠信礼义廉,无有铜钱可做来”等。
县衙外的街道上，建有一楼，耸立在高台之上，登楼可看街景。这是明万历年间所建，楼的一面悬匾“观风楼”，另一面的匾额上则是“听雨楼”。
