Le premier point fortifié au XIe siècle est un donjon quadrangulaire au nord ouest d'un promontoire rocheux dominant la vallée du Loir. L'enceinte médiévale dont les murs sont encore en partie visibles date du XIIe siècle. Elle est dominée par la tour dite de Poitiers, tour maîtresse qui participait à un dispositif défensif renforcé au XVe siècle. Il ne reste rien des vastes logis construits aux XVe et XVIe siècles car après une période de travaux importants au XVIIe siècle commandés par le duc César de Vendôme, fils légitimé d'Henri IV, le château est délaissé pour finalement passer dans le domaine de la Couronne en 1712. La vente révolutionnaire va morceler le château et contribuer à sa transformation au XIXe siècle en un parc romantique aux allées sinueuses. Le cèdre majestueux planté en 1807 et la vue panoramique sur la ville sont les points d'orgue de ce parc d'agrément de 6 hectares. Une collection d'hortensias présente les nombreuses variétés créées par Émile Mouillère et ses descendants, horticulteurs vendômois de la fin du XIXe siècle jusqu'au milieu des années 1950. Le visiteur peut ainsi redécouvrir ces variétés vendômoises de renommée internationale, fruits d'un patient travail de croisement et de sélection.

Château, hôtel urbain, palais, manoir, Espace naturel, parc, jardin, Villes et Pays d'art et d'histoire, Monument historique