Das Schloss und seine Mauern, die im Mittelalter verblieben sind, beherrschen die Umgebung des Vogels und entdecken einen herrlichen Ausblick auf die St. Laurent Kirche. Der Hundertjährige Krieg hat den oberen Teil der Mauern und des Kerkers zerstört. Durch archäologische Ausgrabungen im Jahre 1984 wurde die Lage der 1997 sanierten Mauern ermittelt.
Zu Beginn des 10. Jahrhunderts verließen bretonische Mönche und Kleriker ihre Einrichtungen unter dem Druck normannischer Übergriffe. Mit ihnen nehmen sie die Reliquien ihres heiligen Gründers Saint Léonor mit und ziehen zum Ufer des Vogels und auf dem Schlossgelände. Zwischen 965 und 985 tauchten die Lords von Beaumont auf.
Das 12. Jahrhundert markiert einen ersten Wendepunkt in der Entwicklung des Schlosses. Zu dieser Zeit begann der Bau seines großen Steinverlieses (37 m hoch). Dieser Kerker, höher als der Glockenturm der St. Laurent Kirche (32 m), diente der Lagerung von Speisen im Erdgeschoss und der Unterbringung der Wohnungen des Fürsten im Obergeschoss. Im Jahr 1223 erlischt der letzte Graf de Beaumont, der ohne Nachkommen stirbt, und das Schloss wird dann von König Ludwig VIII. übernommen und geht auf das königliche Anwesen über.
Im Jahr 1226 wohnte Louis IX in Zukunft St. Louis im Schloss und ließ die Abtei von Royaumont bauen.
Im 14. und 15. Jahrhundert wird das Schloss von zahlreichen Angriffen, Zerstörungen und Wiederaufbauten heimgesucht: Hundertjähriger Krieg, Sitze der Engländer, Franzosen, Bourguignons und Armagnacs. Das Schloss und die Stadt werden zwischen 1420 und 1435 von den Engländern besetzt sein. Im 18. Jahrhundert entsteht die letzte große Verwandlung des Schlosses. Mit der Geburt der Artillerie werden die Waffen immer mächtiger, so dass die Verteidigungsstruktur des Schlosses gestärkt werden muss. Der Kerker wird von 37 Metern auf ca. 5 Meter reduziert Das Schloss wird zu einem starken Artillerieplatz.
Dann verliert das Schloss an Größe und im Jahr 1815 wird es verlassen. Emile Zola entdeckt die Stadt und zeigt dort die Handlung seines Romans Le Rêve.