Gegründet um 1023 von Avesgaud, Bischof von Le Mans und Sohn des Grafen von Perche, hat das Schloss von La Ferté-Bernard im Laufe der Zeit viele Schäden erlitten. Die ursprünglich aus Lehm und Holz erbaute Burg wurde später aus Stein wieder aufgebaut, bevor sie auf Befehl von Karl VI. nach dem Verrat seines Herrn Peter von Craon im Jahr 1392 weitgehend zerstört wurde. Heute gibt es noch 2 Türme, Mauern und einen Teil des Hauses, der im Laufe der Jahrhunderte stark renoviert wurde und jetzt in private Wohnungen unterteilt ist. Der Garten ist während der Europäischen Tage des Kulturerbes zugänglich.
Die Kapelle St. Lyphard besitzt ein prächtiges Oratorium, das Ende des 14. Jahrhunderts auf Befehl von Ludwig von Orleans und Valentine Visconti erbaut wurde. Es wurde 1980 von der Stadt erworben und restauriert, um ein Ausstellungsort zu werden.