Al castello d'origine sicuramente costruito in legno, succedette un castello-fortezza nel XIV e XV secolo nel mezzo di una piazzaforte importante. Ne restano alcuni elementi architettonici tra cui delle mura. La famiglia Maillé-Brézé ha fatto costruire il terzo castello nel XVI secolo. Quest'ultimo è stato fortemente rimodellato nel XIX secolo. Molti elementi del castello sono oggi protetti come le facciate e i tetti 16è e 19è, le scuderie 16è e 17è, il muro di cinta con cancello 16è. Parcheggio e ingresso sul piazzale della chiesa di Milly Visite guidate agli esterni.