Fondato intorno al 1023 da Avesgaud, vescovo di Le Mans e figlio del conte di Perche, il castello di La Ferté-Bernard ha subito molti danni nel corso del tempo. Il castello venne ricostruito in pietra prima di essere in gran parte distrutto per ordine di Carlo VI in seguito al tradimento del suo signore Pietro di Craon nel 1392. Oggi rimangono 2 torri, muri e una parte della casa molto rimaneggiata nel corso dei secoli e ora divisa in appartamenti privati. Il giardino è accessibile durante le giornate europee del patrimonio.
La cappella St Lyphard possiede un magnifico oratorio collaterale che fu edificato alla fine del XIV secolo per ordine di Luigi d'Orléans e Valentine Visconti. Acquistata dalla città nel 1980, è stata restaurata per diventare luogo di esposizioni.