Le château et ses remparts, restes de l’enceinte médiévale, dominent les abords de l’Oise et découvrent une vue splendide sur l’église Saint-Laurent. La guerre de Cent Ans a eu raison de la partie supérieure des murailles et du donjon. Les fouilles archéologiques menées en 1984 permirent de retrouver l’emplacement des murailles, réhabilitées en 1997.

Au début du Xe siècle des moines et clercs bretons quittent leurs établissements sous la pression des incursions normandes. Emportant avec eux les reliques de leur saint fondateur, Saint Léonor, ils se dirigent vers les rives de l’Oise et s’installent sur le site du château. Entre 965 et 985, les seigneurs de Beaumont apparaissent.

Le XIIe siècle marque un premier tournant dans l’évolution du château. C’est à cette époque que commence la construction de son grand donjon de pierre (37 m de haut). Ce donjon, plus haut que le clocher de l’église Saint-Laurent (32 m) servait à stocker la nourriture au rez-de-chaussée, et à abriter les appartements du seigneur à l’étage. En 1223 s’éteint le dernier comte de Beaumont, qui meurt sans descendance, le château est alors racheté par le roi Louis VIII, passant ainsi dans le domaine royal.

En 1226, Louis IX futur Saint Louis, réside au château et fait construire l’Abbaye de Royaumont.

Au cours du XIVe siècle et du XVe siècle, le château va subir de nombreux assauts, de nombreuses destructions et reconstructions : Guerre de Cent Ans, sièges des Anglais, des Français, des Bourguignons et des Armagnacs. Le château et la ville seront occupés par les Anglais entre 1420 et 1435. Le XVIIIe siècle voit naître la dernière grande transformation du château. Avec la naissance de l’artillerie, les armes sont de plus en plus puissantes, il faut donc renforcer la structure défensive du château. La hauteur du donjon va être réduite, passant de 37 mètres à environ 5 mètres. Le château devient une place forte d’artillerie.

Ensuite, le château perd de sa grandeur et en 1815, il est abandonné. Emile Zola découvre la ville et y situe l’action de son roman Le Rêve.