El castillo de Faye ha sido construido en el siglo XIII a partir de una antigua atalaya del sistema de defensa del châtellenie de Montignac, puesto a punto por Alphonse de Poitiers. Esta "torre del homenaje " fue atracada(se acercó) en el siglo XIV y en el siglo XV de dos torres masivas que hicieron Faye, durante la guerra de Ciento Años una casa fuerte importante. El conjunto forma la fachada Meridional del castillo actual. Una escalera de caracol, en el patio interior, relaciona estos edificios entre ellos.
En el siglo XVI el castillo es completado sobre el lado norte por el edificio dicho " Las galerías " que forman así un cuadrilátero alrededor de un tribunal muy estrecho. La fachada es entonces es embellecido de una torre que abriega una segunda escalera de caracol, más ancha y que da acceso a las galerías habilitadas para edificio de vivienda.
El castillo casi conoce, a partir de 1756, un período abandono y es vendido como muy nacional a la Revolución. En el estado de ruina, es restaurado a partir de 1870.
Entonces son asociados con él dos turnos de ángulo, nordestes y sudeste mientras que desaparece la capilla del siglo XVI contigua al castillo.

Château, hôtel urbain, palais, manoir, Monument historique y Édifice commémoratif