Le prieuré fait partie des sites clunisiens, et est inscrit aux Monuments Historiques depuis 1988. Les peintures murales récemment restaurées de la chapelle y sont remarquables.

Au milieu du VIIIème siècle, Ermenora donne l'alleu de Ruffey à l'abbaye Saint-Bénigne de Dijon. Des religieux y fondent un prieuré et construisent une chapelle dédiée à Saint-Christophe qui sert d'église paroissiale jusqu'à l'édification de l'église actuelle dédiée à Saint-Agnan. Au Xème siècle, l'abbaye Saint-Marcel-lès-Chalon, de l'ordre de Cluny, usurpe les biens du prieuré qui lui seront confirmés au XIème siècle. Détruit au XIVème siècle, il est reconstruit au XVème. En 1663, le prieuré, sans marque de conventualité, est dit établissement rural de Cluny.
Acquis à la Révolution par Jean-Baptiste Lhomme, le prieuré devient une exploitation agricole et bien malmené. Racheté par ses propriétaires actuels, il est restauré, notamment la chapelle ornée de belles fresques.

Édifice religieux, Monument historique