Die Fülle an Quellen beeinflusste wahrscheinlich die Wahl des Standorts der Burg von Peyraux. Die heutigen Gebäude, die hauptsächlich aus dem 15. Jahrhundert stammen, wurden im Laufe der Zeit kaum verändert. Trotz einer teilweisen Demontage im Jahr 1635 behielt das Schloss drei runde Türme im Winkel mit ihren Verteidigungsvorrichtungen sowie einen Hauptturm mit Blick auf einen gewölbten Keller. Im 18. Jahrhundert wurden Erweiterungen vorgenommen, insbesondere an der Ostfassade des Schlosses und im Nordflügel der Gemeinden. Das Archiv belegt die Bewohner des Schlosses seit Anfang des 14. Jahrhunderts. Im frühen 17. Jahrhundert wurde das Schloss von den Badefols in die Royere verlegt. Diese Familie ist auch heute noch für ihren Erhalt verantwortlich. Viele Handwerker tragen zur Pflege der Gebäude, Gärten und des Parks bei. Das Schloss von Peyraux steht seit 1948 unter Denkmalschutz (Commons seit 1974). Das umliegende Gebiet erstreckt sich über 160 Hektar und ist seit 1984 bewaldet.