Elle date du XIIe siècle et est bâtie de calcaire beige, dur, à porosité vermiculée, dite "pierre de la Chapelle" probablement extrait de Saint-Ay et de ses alentours qui comportaient de nombreuses carrières.
Elle a été construite sur les fondations d'une chapelle d'origine mérovingienne élevée par Agylus et dédiée à Notre Dame. Les chapiteaux et soubassements des six piliers les plus près du chœur ont une facture certaine de cette époque.
Elle est à ce titre inscrite au classement des Monuments Historiques.
L'église de Saint-Ay dépend étroitement de la légende de Saint Ay ou Agylus qui après "sa punition divine" sur la tombe de Saint-Mesmin aurait aussi construit sur le futur village de Saint-Ay une chapelle dédiée à Notre-Dame dans laquelle il a été enterré. La dédicace à Notre-Dame est un bon indicateur de la présence d'une église du premier Moyen Âge qui marque un lieu de culte ancien.

Monument historique, Édifice religieux, Patrimoine mondial de l'UNESCO