Das Schloss von Potelles, eine ehemalige Festung des Hennegaus, wurde um 1290 vom Ritter Gilles de Mortagne erbaut und ist ein einzigartiges Zeugnis unserer Geschichte. Als mittelalterliche Festung wurde Potelles im Laufe der Zeit zu einem Wohnort. Türme und Mauern, wurden von Invasionen, Feuer und Kriegen heimgesucht. Seit dem 13. Jahrhundert haben immer noch Frauen und Männer das Schloss erhöht. Zu Beginn des 19. Jahrhunderts unternahm der Kanoniker von Carondelet zahlreiche Bauarbeiten zur Restaurierung des Schlosses. 1832 schenkte er es seiner Nichte Eugénie Adélaïde de Carondelet, der Ehefrau von Jean-Philippe Fremin du Sartel, Leibwächter von König Ludwig XVIII. und Vorfahren des heutigen Besitzers. Potelles ist seit dem 19. Januar 1944 in das Inventar der historischen Denkmäler eingetragen.