El castillo que tomó el nombre de la capilla de Vauguillain fue construido a finales del siglo XII. Si no queda ningún rastro de una construcción anterior, es cierto, como lo demuestra un sarcófago galo-romano de piedra encontrado por un enólogo cerca del antiguo cementerio en 1850, que este punto estratégico ha estado siempre ocupado. El recinto del castillo incluía la casa señorial que comunicaba con la capilla a través de una puerta, un pozo excavado al norte de la capilla y en 1492 el arzobispo Tristán de Salazar hizo construir cobertizos y establos. El primer gobernador conocido del castillo por textos es Symon de Jussemicourt en 1363.
En el siglo XIV, durante la Guerra de los Cien Años, las murallas de la fortaleza fueron destruidas y reconstruidas por los habitantes. Este fue de nuevo el caso en 1406 y en 1492. Servía de residencia a los arzobispos de Sens. Se pueden ver las ruinas del antiguo recinto del castillo cuya gran torre redonda llamada «torre Baron» que estaba unida a una torre cuadrada.
En 1521-1522, el Censier de Saint-Julien-du-Sault establece que el castillo está en el centro de una red de caminos que conducen a Verlin y Précy. Siete casas y un lugar edificable se encuentran en sus inmediaciones. Viñedos lo rodean, lo que despeja la vista de los atacantes. Una pendiente de 70 metros hace muy difícil el acceso a la aldea de Vauguillain y a la ciudad de Saint-Julien.
Desmantelado en 1630 en ejecución de la real orden del cardenal de Richelieu de 1626 , el castillo está abandonado, pero la capilla, dedicada a San Julien5, es mantenida por los aldeanos, hasta finales del siglo XVIII.