Au XIIe siècle siècle, les Duras établirent une tour de Garde pour être prévenus de tout envahisseur pouvant traverser la Dordogne. Au XIVe les Duras et les Anglais décidèrent de renforcer Gageac en créant une place forte stratégique.

En 1377, le roi de France Charles V décida de reprendre aux Anglais Bergerac. Il envoya son frère le duc d'Anjou, qui n'y parvint pas. Il fit donc appel au conétable Du Guesclin.

Le conétable, aprés avoir écrasé les Anglais à Eymet, prit Duras et s'attaqua à Gageac, le dernier verrou avant Bergerac. Son siège dura 5 jours.

Au XVe durant les guerres de Religions, la Reine Jeanne d'Albret, repartant de Bergerac y fit des séjours avant de regagner son palais de Nérac, tout comme le fameux Capitaine Geoffroy de Vivant quand il guerroyait contre les catholiques sur Sainte-Foy, Montravel ou Bergerac.

Aux XVII et XVIIIe siècles cette forteresse étant tombée en désuétude Gaillard de Durfort, sieur de Duras, et les d'Essenault de Castelnau décidèrent de transformer Gageac en une résidence confortable et de caractère que l'on peut encore admirer.

Afin de compléter cette ensemble, il fut construit au Nord un pigeonnier imposant, montrant par là que cette résidence appartenait à une seigneurie très reconnue.

Après plusieurs décénies de faste, Gageac fut oublié par le nouveau propriétaire Elie de Reclus et tomba en désuétude jusqu'à son rachat par Napoléon-Louis Doussault de la Primaudière en 1824. Il maria sa fille Mathilde à Geoffroy de la Verrie de Vivans. Son père Charles fut chargé de le restaurer avec les techniques et les grandeurs du XIXe siècle. Gageac est toujours dans la famille depuis ce jour en poursuivant la continuité de ce charmant monument du Sud Bergeracois.