Fundado hacia 1023 por Avesgaud, obispo de Le Mans e hijo del conde de Le Perche, el castillo de La Ferté-Bernard sufrió muchos daños a lo largo del tiempo. Fortaleza construida inicialmente de tierra y madera, el castillo fue reconstruido en piedra antes de ser destruido en gran parte por orden de Carlos VI tras la traición de su señor Pedro de Craon en 1392. Hoy en día, quedan 2 torres, paredes y parte de la casa muy reformado a lo largo de los siglos y ahora dividido en apartamentos privados. El jardín es accesible durante las Jornadas Europeas del Patrimonio.
La capilla de San Lyphard tiene un hermoso oratorio colateral que fue construido a finales del siglo XIV por orden de Luis de Orleans y Valentine Visconti. Adquirida por la ciudad en 1980, fue restaurada para convertirse en un lugar de exposiciones.