Il castello e le sue mura, resti della cinta muraria medievale, dominano i dintorni dell'Oise e scoprono una splendida vista sulla chiesa di San Lorenzo. La guerra dei cent'anni ha avuto ragione della parte superiore delle mura e del torrione. Gli scavi archeologici condotti nel 1984 permisero di ritrovare la posizione delle mura, riabilitate nel 1997.
All'inizio del X secolo dei monaci e chierici bretoni lasciarono le loro istituzioni sotto la pressione delle incursioni normanne. Portando con sé le reliquie del loro santo fondatore, San Leone, si dirigono verso le rive dell'Oise e si stabiliscono sul sito del castello. Tra il 965 e il 985 apparvero i signori di Beaumont.
Il XII secolo segna una prima svolta nell'evoluzione del castello. È in questo periodo che inizia la costruzione del suo grande mastio di pietra (37 m di altezza). Questo torrione, più alto del campanile della chiesa di San Lorenzo (32 m) serviva a conservare il cibo al piano terra, e ad ospitare gli appartamenti del signore al piano superiore. Nel 1223 si estinse l'ultimo conte di Beaumont, che morì senza discendenza, il castello fu poi riscattato dal re Luigi VIII, passando così nel dominio reale.
Nel 1226, Luigi IX, futuro San Luigi, risiede al castello e fa costruire l'Abbazia di Royaumont.
Nel corso del XIV e del XV secolo, il castello subì numerosi assalti, distruzioni e ricostruzioni: Guerra dei Cent'Anni, assedi degli inglesi, dei francesi, dei borgognoni e degli armagnacchi. Il castello e la città saranno occupati dagli inglesi tra il 1420 e il 1435. Il XVIII secolo vede nascere l'ultima grande trasformazione del castello. Con la nascita dell'artiglieria, le armi divennero sempre più potenti, per cui fu necessario rafforzare la struttura difensiva del castello. L'altezza del torrione sarà ridotta, passando da 37 metri a circa 5 metri. Il castello diventa una roccaforte di artiglieria.
In seguito, il castello perde la sua grandezza e nel 1815, viene abbandonato. Emile Zola scopre la città e vi colloca l'azione del suo romanzo Il sogno.