El castillo y sus murallas, restos del recinto medieval, dominan las inmediaciones del río Oise y descubren una espléndida vista de la iglesia de San Lorenzo. La Guerra de los Cien Años acabó con la parte superior de las murallas y la mazmorra. Las excavaciones arqueológicas realizadas en 1984 permitieron encontrar el emplazamiento de las murallas, rehabilitadas en 1997.
A principios del siglo X, los monjes y clérigos bretones abandonaron sus establecimientos bajo la presión de las incursiones normandas. Llevándose con ellos las reliquias de su santo fundador, San Leonor, se dirigen hacia las orillas del Oise y se instalan en el sitio del castillo. Entre 965 y 985, aparecen los señores de Beaumont.
El siglo XII marca un primer punto de inflexión en la evolución del castillo. Es en esta época cuando comienza la construcción de su gran torreón de piedra (37 m de altura). Este torreón, más alto que el campanario de la iglesia de San Lorenzo (32 m) servía para almacenar la comida en la planta baja, y para albergar los apartamentos del señor en el piso de arriba. En 1223 se extingue el último conde de Beaumont, que muere sin descendencia, el castillo es entonces comprado por el rey Luis VIII, pasando así al dominio real.
En 1226, Luis IX, futuro San Luis, reside en el castillo y manda construir la Abadía de Royaumont.
Durante los siglos XIV y XV, el castillo sufrió numerosos asaltos, destrucciones y reconstrucciones: Guerra de los Cien Años, asedios de los ingleses, los franceses, los borgoñones y los Armagnacs. El castillo y la ciudad fueron ocupados por los ingleses entre 1420 y 1435. El siglo XVIII vio nacer la última gran transformación del castillo. Con el nacimiento de la artillería, las armas son cada vez más poderosas, por lo que es necesario reforzar la estructura defensiva del castillo. La altura de la torre del homenaje se reducirá de 37 metros a unos 5 metros. El castillo se convierte en una plaza fuerte de artillería.
Luego, el castillo pierde su grandeza y en 1815 es abandonado. Emile Zola descubre la ciudad y sitúa allí la acción de su novela Le Rêve.