Nel XII secolo, i Duras stabilirono una torre di guardia per essere avvertiti di qualsiasi invasore che potesse attraversare la Dordogna. Nel XIV secolo le Duras e gli inglesi decisero di rafforzare Gageac creando una roccaforte strategica.
Nel 1377, il re di Francia Carlo V decise di riprendere dagli inglesi Bergerac. Inviò suo fratello il duca d'Angiò, che non vi riuscì. Fece quindi appello al Consiglio del Guesclin.
Il Concilio, dopo aver schiacciato gli inglesi a Eymet, prese Duras e attaccò Gageac, l'ultimo blocco prima di Bergerac. Il suo assedio durò 5 giorni.
Nel XV secolo, durante le guerre di religione, la regina Giovanna d'Albret, ripartendo da Bergerac, vi soggiornò prima di ritornare al suo palazzo di Nérac, così come il famoso capitano Geoffroy de Vivant quando combatteva contro i cattolici su Sainte-Foy, Montravel o Bergerac.
Nei secoli XVII e XVIII questa fortezza era caduta in disuso Gaillard de Durfort, signore di Duras, e i d'Essenault di Castelnau decisero di trasformare Gageac in una residenza confortevole e di carattere che si può ancora ammirare.
Per completare questo insieme, fu costruito a nord un'imponente colombaia, mostrando così che questa residenza apparteneva a una signoria molto riconosciuta.
Dopo diverse decadi di sfarzo, Gageac fu dimenticato dal nuovo proprietario Elie de Reclus e cadde in disuso fino alla sua acquisizione da parte di Napoleon-Louis Doussault de la Primaudière nel 1824. Sposò sua figlia Mathilde a Geoffroy de la Verrie de Vivans. Suo padre Carlo fu incaricato di restaurarlo con le tecniche e le grandezze del XIX secolo. Gageac è ancora in famiglia da quel giorno continuando la continuità di questo affascinante monumento del Sud Bergeracois.