Al castillo original, seguramente construido en madera, le sucedió un castillo-fortaleza en los siglos 14 y 15 en medio de una plaza fuerte importante. Quedan algunos elementos arquitectónicos, entre ellos murallas. La familia Maillé-Brézé hizo construir el 3er castillo en el siglo XVI. Este último fue fuertemente remodelado en el siglo XIX. Muchos elementos del castillo están actualmente protegidos, como las fachadas y tejados 16º y 19º, los establos 16º y 17º, la muralla con portada 16º. Aparcamiento y entrada a la plaza de la iglesia de Milly Visitas guiadas al aire libre.