La date la plus ancienne que l’on mentionne pour le château de Vaux remonte à 1300 avec le Seigneur Salomon de la Chevrière.
Plusieurs propriétaires suivent pour arriver à la famille actuelle, les Gaultier de Brullon dont le nom apparaît en 1753 à Vaux. La famille Levêque aujourd’hui présente sont les enfants et petits-enfants d’Huguette Gaultier de Brullon épouse Levêque.
La seigneurie d’origine était composée d’un château fort, d’une chapelle et de bâtiments de service entourés d’un mur d’enceinte, de tours, d’un pont levis et de douves.
Le château : la famille Gaultier de Brullon a fait faire des plans en 1786 par l’architecte Dunoyer pour créer une demeure plus confortable en lieu et place du château fort certainement plus austère. En raison de la révolution débutant en 1789, le projet a été reporté, la construction a finalement été terminée en 1821. Le fronton porte cette date et les armes des commanditaires : Augustin Alexandre Gaultier de Brullon et sa femme Marie Philippe Jarret de la Mairie.
Les douves ont été redessinées avec adoucissement des angles droits d’aspect plus militaire, création d’une île, suppression d’une partie du mur d’enceinte et de tours.
La chapelle : elle a été érigée à partir de 1298 et consacrée à Saint Georges en 1300. Sa construction a été probablement décidée à un retour de croisade. Elle présente toutes les caractéristiques d’une chapelle abritant des reliques :
 Elle a été construite à l’extérieur du château pour en faciliter la visite.
 Elle comporte une ouverture basse avec une grille et probablement un tronc à gauche de l’entrée.
 Elle dispose de deux petites pièces, chacune a une petite ouverture sur la chapelle centrant le regard du visiteur sur l’autel et donc sur la relique qui se trouvait à côté.
 Elle est traversée sur toute sa largeur en sous-sol par un caveau qui passe sous l’autel et qui permettait aux pèlerins, selon une tradition ancienne, de passer sous la relique et de s’imprégner de son rayonnement.
Enfin, cette thèse sur les reliques est confortée par la fresque qui se trouve à gauche de l’autel où l’on voit clairement un ange soulever le pan d’une tente rouge et or d’une forme typique du Moyen Orient comme pour faire découvrir au visiteur quelque chose à admirer. Cette forme orientale justifie aussi la thèse du retour de croisade car ce dessin a dû être donné à un décorateur local par une personne revenant du Moyen Orient.