Hôpital puis collégiale et site d’accueil du XIVe siècle pour les pèlerins de Saint-Jacques de Compostelle. Elle devient à partir du XVIIe siècle, lors des guerres de Religion, une citadelle construite pour défendre le pont et la ville et qui englobe la collégiale et l’hôpital.
Une partie a été détruite en 1944 et en 1948, mais les vestiges sont remarquables, notamment le monumental portail gothique de l'architecte Blaise Lecuyer.
La chapelle et l’hôpital ont été inscrits à l'inventaire supplémentaire des Monuments historiques en 2013.