La abadía benedictina de Vaux-sur-Poligny se había convertido en un seminario menor en el siglo XIX. En 1870, su superior, el abate Petit, compró el molino al Este de la antigua abadía, junto con su sobrina que se casó poco después con Louis Milcent, auditor del Consejo de Estado.
Este adepto de las ideas sociales del marqués de la Tour du Pin y del conde Albert de Mun encontró allí una implantación rural que lo convirtió en el creador del sindicato agrícola del distrito de Poligny en 1884 y en el cofundador en 1885 de la asociación de crédito mutuo del distrito de Poligny - Primera caja local de crédito agrícola, con Alfred Bouvet y el marqués de Froissard.
Mientras tanto, había desarrollado el dominio de Vaux. El arquitecto bisontino Ducat se encargó de la construcción de una espaciosa casa sobre las bases del molino, perpendicularmente al valle. El arquitecto-paisajista Brice Michel diseñó el parque, escenificando el curso de la Glantine. Las comunas y una granja están dispuestas a lo largo de la carretera nacional desde la que una puerta y una calle dan acceso a la propiedad.
También tiene una capilla funeraria en la vertiente Sur. El cuerpo de casa conserva la distribución y las decoraciones originales. Conjunto completo, bien conservado, relativamente documentado, este castillo se distingue de las casas similares de esta época por el arreglo excepcional de un sitio de remoto característico del Jura.