En 1013, l'abbaye de Bernay est fondée à partir des biens que Judith de Bretagne (?-1017), duchesse de Normandie et épouse de Richard II (996-1026), lui attribue et dont fait partie le site de « Belmont ».
En 1048, Roger fait édifier un château fortifié et fonde un établissement religieux : la collégiale de la Trinité. Cet acte est l’expression symbolique de la place de cette nouvelle seigneurie dans la gouvernance du duché. L'ensemble « castrum et collégiale » relève d'une stratégie de structuration administrative et militaire mise en place par Guillaume le Conquérant et suivie par ses fils pour « quadriller » la Normandie.
Photographie
Rattaché à l'abbaye du Bec-Hellouin, le site devient prieuré de l’ordre bénédictin dont les membres diminuent progressivement au fil des siècles.
De sorte qu’en 1820, l’industrie textile vient occuper le site (filature de coton, fabrique de rubans, ...) mais après un incendie, le site sert de carrières de pierre jusqu'à ce qu'en 1862. C’est alors que la société des antiquaires rachète le site pour le sauver de la ruine.
À partir des années 1950, il est pris en charge par l’État qui commence un long programme de travaux visant à stabiliser les ruines.