Dem ursprünglichen Schloss, das sicherlich aus Holz gebaut wurde, folgte im 14. und 15. Jahrhundert eine Burg inmitten einer wichtigen Festung. Einige architektonische Elemente sind noch erhalten. Die Familie Maillé-Brézé ließ das 3. Schloss im 16. Jahrhundert errichten. Letzteres wurde im 19. Jahrhundert stark umgebaut. Viele Elemente des Schlosses sind heute geschützt, insbesondere die Fassaden und Dächer 16è und 19è, die Stallungen 16è und 17è, die Ringmauer mit dem Portal 16è. Parkplatz und Eingang auf dem Vorplatz der Kirche von Milly.