Sur l'itinéraire jacquaire entre Conques et Toulouse, un hôpital de saint Jacques est édifié à Villefranche-de-Rouergue dès le XIVe siècle. Une chapelle est édifiée par les consuls de la ville en 1455.

La chapelle a été construite en 1455 afin d’accueillir les pèlerins qui se rendaient à Saint-Jacques de Compostelle depuis Rocamadour ou Conques (route du Puy). La chapelle, administrée par la confrérie du Bienheureux Saint-Jacques, leur permettait de prier et de se reposer après un voyage pénible et dangereux. Un hôpital mentionné dès 1330, et transformé en Hôtel de Charité au XVIIIe siècle, flanquait initialement la chapelle.

Les pèlerins les plus modestes y trouvaient refuge et pouvaient se faire soigner. Les autres séjournaient dans les auberges de la ville, avant de poursuivre leur longue route vers Najac, Moissac et Toulouse.

C'est un bel exemple d'architecture gothique méridionale à nef unique et aux décors évocateurs.