Dès le XIIe siècle le fief de Pailhès est possédé par la famille de Bernard d'Amiel qui a joué un rôle important dans l’histoire du comté de Foix et de Toulouse, comme en attestent de nombreux actes.

Le bien se transmet par alliance au XIIIe siècle à la puissante famille des Villemur qui possèdera la baronnie jusqu’au XVIIIe siècle. Ils seront gouverneurs du comté de Foix jusqu’au règne d’Henri de Navarre, comte de Foix et futur Henri IV. Une riche correspondance entre le baron de Pailhès et Henri de Navarre atteste de la relation d’amitié et de confiance qui liait les deux hommes.

L’histoire rapporte qu'Henri de Navarre est venu à Pailhès où il était l’hôte du baron Jacques de Villemur. On désigna le beau lit à baldaquin du château « lit d’Henri IV », mobilier d’apparat, digne du rang du « Vert Galant » aujourd'hui exposé au château de Foix.

Au milieu du XVIIIe siècle la baronnie est acquise par la famille de Lafage. Échange entre les terres de Saint-Amadou et de Pailhès, la famille reprend un château très abîmé et entreprend de gros travaux d’aménagement. Antoine de Lafage fait reconstruire l’imposante église du château en 1780.

Le château a été inscrit au titre des Monuments Historiques en février 1997.