En el siglo XII, los Duras establecieron una torre de Guardia para ser avisados de cualquier invasor que pudiera cruzar el Dordoña. En el siglo XIV los Duras y los ingleses decidieron reforzar Gageac creando un fuerte estratégico.
En 1377, el rey de Francia Carlos V decidió hacerse cargo de los ingleses Bergerac. Envió a su hermano el duque de Anjou, que no pudo hacerlo. Así que llamó al Concejal Du Guesclin.
Tras aplastar a los ingleses en Eymet, el Conétable tomó Duras y atacó Gageac, el último bloqueo antes de Bergerac. Su asedio duró 5 días.
En el XVe durante las guerras de Religiones, la Reina Juana de Albret, saliendo de Bergerac hizo estancias antes de regresar a su palacio de Nérac, al igual que el famoso capitán Geoffroy de Vivant cuando guerreaba contra los católicos en Sainte-Foy, Montravel o Bergerac.
En los siglos XVII y XVIII esta fortaleza había caído en desuso Gaillard de Durfort, sieur de Duras, y los d'Essenault de Castelnau decidieron transformar Gageac en una residencia confortable y de carácter que todavía se puede admirar.
Para completar este conjunto, se construyó al norte un imponente palomar, mostrando así que esta residencia pertenecía a un señorío muy reconocido.
Después de varias décadas de fasto, Gageac fue olvidado por el nuevo propietario Elie de Reclus y cayó en desuso hasta su adquisición por Napoleón-Louis Doussault de la Primaudière en 1824. Se casó con su hija Matilde en Geoffroy de la Verrie de Vivans. Su padre Carlos fue encargado de restaurarlo con las técnicas y grandezas del siglo XIX. Gageac está siempre en la familia desde ese día continuando la continuidad de este encantador monumento del sur de Bergeracois.