L'abbaye bénédictine de Vaux-sur-Poligny était devenue un petit séminaire au 19e siècle. En 1870, son supérieur, l'abbé Petit, acheta le moulin à l'Est de l'ancienne abbaye, conjointement avec sa nièce qui épousa peu après Louis Milcent, auditeur au Conseil d'Etat.

Cet adepte des idées sociales du marquis de la Tour du Pin et du comte Albert de Mun trouva là une implantation rurale qui en fit le créateur du syndicat agricole de l'arrondissement de Poligny en 1884 puis le cofondateur en 1885 de l'association de crédit mutuel de l'arrondissement de Poligny - Première caisse locale de crédit agricole, avec Alfred Bouvet et le marquis de Froissard.

Entre temps, il avait développé le domaine de Vaux. L'architecte bisontin Ducat fut chargé de la construction d'une demeure spacieuse sur les soubassements du moulin, perpendiculairement à la vallée. L'architecte-paysagiste Brice Michel aménagea le parc, mettant en scène le cours de la Glantine. Des communs et une ferme sont disposés le long de la route nationale depuis laquelle un portail et une rue donnent accès à la propriété.

Elle comporte aussi une chapelle funéraire sur le versant Sud. Le corps de logis conserve la distribution et les décors d'origine. Ensemble complet, bien conservé, relativement documenté, ce château se distingue des demeures semblables de cette époque par l'aménagement exceptionnel d'un site de reculée caractéristique du Jura.