Le conservatoire est installé dans un cadre exceptionnel : le cloître des Cordeliers. La réalisation de l’édifice débutera en 1569 pour s’achever en 1586. Celui-ci comprenait alors une église et le cloître à colonnes toscanes, regroupant une bibliothèque, un dortoir à cellules et un réfectoire.
À la révolution, la chapelle sert à l’assemblée des trois Ordres pour l’élection des députés aux états généraux de 1789. En 1791, Le couvent, nationalisé, est destiné aux services du département, puis en 1795 les bâtiments deviennent école centrale puis école secondaire et enfin sont annexés au nouveau lycée Marceau construit entre 1884 et 1887. Aujourd’hui il reste un fragment de mur nord de l’édifice encore visible dans le cloître. L’ensemble des bâtiments est inscrit à l’inventaire supplémentaire des Monuments Historiques depuis 1959 et 1979.

Lieu de spectacles, sports et loisirs