Costruito all'inizio del XVII secolo, il castello ha conosciuto diversi proprietari, da Nicolas de Harlay, Ministro di Enrico IV al maresciallo dell'Impero Alexandre Berthier, Principe di Wagram. Completamente arredato, ha conservato gran parte dell'eredità dell'epoca di Napoleone I: poltrone, quadri, decori di ogni genere e pezzi rari e originali. Altri mobili, più antichi, sono presenti anche nelle stanze del castello.
L'arredamento originale della sala da pranzo Luigi XIII, costituito da pitture murali, offre una bella testimonianza del XVII secolo. La biblioteca del castello comprende oltre 3.000 opere militari, scientifiche e storiche, mappe e piani di battaglia.
Il castello di Grosbois è iscritto dal 1933 nella lista dei monumenti storici. Appartiene dal 1962 alla Società di Incoraggiamento all'Elevage du Cheval Français, che assicura la conservazione e la valorizzazione di questo patrimonio eccezionale.