Au château d’origine certainement construit en bois, a succédé un château-fort au 14è et 15è siècles au milieu d’une place forte importante. Il en reste quelques éléments architecturaux dont des remparts. La famille Maillé-Brézé a fait construire le 3ème château au 16è siècle. Ce dernier a été fortement remodelé au 19è siècle. De nombreux éléments du château sont aujourd’hui protégés comme notamment les façades et toitures 16è et 19è, les écuries 16è et 17è, le mur d'enceinte avec portail 16è.
Parking et entrée sur le parvis de l'église de Milly
Visites guidées des extérieurs.