L'abbazia benedettina di Vaux-sur-Poligny era diventata un seminario minore nel XIX secolo. Nel 1870 il suo superiore, l'abate Petit, acquistò il mulino a est dell'antica abbazia, insieme a sua nipote che poco dopo sposò Louis Milcent, uditore al Consiglio di Stato.
Questo adepto delle idee sociali del marchese della Tour du Pin e del conte Albert de Mun trovò lì un insediamento rurale che ne fece il fondatore del sindacato agricolo dell'arrondissement di Poligny nel 1884 e poi il cofondatore nel 1885 dell'associazione di mutuo credito del distretto di Poligny - Prima cassa locale di credito agricolo, con Alfred Bouvet e il marchese di Froissard.
Nel frattempo, aveva sviluppato il dominio di Vaux. L'architetto bisontino Ducato fu incaricato della costruzione di una spaziosa dimora sui basamenti del mulino, perpendicolare alla valle. L'architetto paesaggista Brice Michel progettò il parco, mettendo in scena il corso della Glantine. I comuni e una fattoria sono disposti lungo la strada statale da cui un cancello e una strada danno accesso alla proprietà.
Comprende anche una cappella funeraria sul versante Sud. Il corpo di alloggio conserva la distribuzione e le decorazioni originali. Insieme completo, ben conservato, relativamente documentato, questo castello si distingue dalle dimore simili di quell'epoca per l'eccezionale sistemazione di un sito remoto caratteristico del Giura.