Im 12. Jahrhundert errichteten die Duras einen Wachturm, um vor Eindringlingen gewarnt zu werden, die die Dordogne überqueren konnten. Im 14. Jahrhundert beschlossen die Duras und die Engländer, Gageac durch die Schaffung einer strategischen Festung zu stärken.
1377 beschloss der französische König Karl V., den Engländern Bergerac zu nehmen. Er sandte seinen Bruder, den Herzog von Anjou, der dies nicht schaffte. Er wandte sich an den Conétable Du Guesclin.
Der Gutshof, nachdem er die Engländer in Eymet niedergeschlagen hatte, nahm Duras und griff Gageac an, das letzte Schloss vor Bergerac. Sein Sitz dauerte 5 Tage.
Während der Religionskriege im 15. Jahrhundert reiste Königin Jeanne d'Albret von Bergerac ab, um sich dort niederzulassen, bevor sie in ihren Palast in Nérac zurückkehrte, ebenso wie der berühmte Kapitän Geoffroy de Vivant, als er gegen die Katholiken auf Sainte-Foy, Montravel oder Bergerac kämpfte.
Im 17. und 18. Jahrhundert beschloss diese Festung, nachdem Gaillard de Durfort, Herr von Duras, und die d'Essenault von Castelnau in eine komfortable und charaktervolle Residenz umgewandelt wurden, die noch zu bewundern ist.
Um dieses Ensemble zu vervollständigen, wurde im Norden ein imposanter Taubenschlag gebaut, der zeigt, dass diese Residenz einer sehr bekannten Herrschaft gehörte.
Nach mehreren Jahrzehnten des Prunks wurde Gageac von dem neuen Besitzer Elie de Reclus vergessen und fiel in Vergessenheit, bis er 1824 von Napoleon-Louis Doussault von der Primaudière gekauft wurde. Er heiratete seine Tochter Mathilde in Geoffroy de la Verrie de Vivans. Sein Vater Charles wurde beauftragt, es mit den Techniken und Größen des 19. Jahrhunderts wiederherzustellen. Gageac ist seit diesem Tag immer noch in der Familie und setzt die Kontinuität dieses charmanten Denkmals des südlichen Bergeracois fort.