Il castello di Richemont, costituito da due corpi di alloggi a pianta quadrata collegati da una torre d'angolo, fu costruito tra il 1564 e il 1581 da Pierre de Bourdeille, memoriale del XVI secolo, più noto come Brantôme. Dopo una brutta caduta da cavallo che interruppe la sua carriera militare, vi scrisse le sue opere e vi visse fino alla sua morte, il 5 luglio 1614. Fu sepolto nella cappella del castello.