La abundante presencia de manantiales probablemente influyó en la ubicación del castillo de Peyraux. Los edificios actuales, que datan principalmente del siglo XV, han sufrido pocas modificaciones con el tiempo. A pesar de un desmantelamiento parcial en 1635, el castillo conserva tres torres redondas en escuadra, con sus dispositivos defensivos, así como un cuerpo de casa principal con vistas a una bodega abovedada. En el siglo XVIII se realizaron ampliaciones, sobre todo en la fachada este del castillo y en el ala norte de las comunas. Los archivos atestiguan los habitantes del castillo desde principios del siglo XIV. Tras varias sucesiones, el castillo pasó de los Badefols a los Royere a principios del siglo XVII. Esta familia sigue siendo responsable de su preservación hoy. Muchos artesanos contribuyen al mantenimiento de edificios, jardines y parques. El castillo de Peyraux está clasificado como monumento histórico desde 1948 (los comunes desde 1974). El sitio circundante, que abarca unas 160 hectáreas y está ampliamente boscoso, está inscrito desde 1984.