Sobre el itinerario jacquaire entre Caracolas y Toulouse, un hospital de santo Jacques es edificado en Villefranche-de-Rouergue desde el siglo XIV. Una capilla es edificada por los cónsules de la ciudad en 1455.
La capilla ha sido construida en 1455 con el fin de acoger a los peregrinos que se iban a Santiago de Compostela desde Rocamadour o Caracolas (camino de Puy). La capilla, administrada por la hermandad del Santo-Jacques Bienaventurado, les permitía rezar y descansar después de un viaje penoso y peligroso. Un hospital mencionado desde 1330, y transformado en Hotel de Caridad en el siglo XVIII, flanqueaba inicialmente la capilla.
Los peregrinos más modestos encontraban allí refugio y podían hacerse cuidar. Otros(as) permanecían en los hostales de la ciudad, antes de perseguir su camino largo hacia Najac, Moissac y Toulouse.
Es un bello ejemplo de arquitectura gótica meridional en nave única y a los decorados evocadores.