Il castello che ha preso il nome della cappella di Vauguillain è stato costruito alla fine del XII secolo. Se non rimane traccia di una precedente costruzione, è certo, come testimonia un sarcofago gallo-romano in pietra trovato da un vignaiolo nei pressi dell'antico cimitero nel 1850, che questo punto strategico è stato sempre occupato. Il recinto del castello comprendeva la casa signorile che comunicava con la cappella attraverso una porta, un pozzo scavato a nord della cappella e nel 1492 l'arcivescovo Tristano di Salazar fece costruire capannoni e stalle. Il primo governatore conosciuto del castello da testi è Symon de Jussemicourt nel 1363.
Nel XIV secolo, durante la guerra dei cent'anni, le mura della fortezza furono distrutte e ricostruite dagli abitanti. Questo fu nuovamente il caso nel 1406 e nel 1492. Servì da residenza agli arcivescovi di Sens. Si possono vedere le rovine dell'antica cinta muraria del castello la cui grande torre rotonda detta «torre Barone» era collegata ad una torre quadrata.
Nel 1521-1522, il Censier di Saint-Julien-du-Sault stabilì che il castello era al centro di una rete di strade che portavano a Verlin e Précy. Sette case e un terreno edificabile si trovano nelle immediate vicinanze. I vigneti lo circondano, che offre una vista sugli assalitori. Una pendenza di 70 metri rende molto difficile l'accesso alla frazione di Vauguillain e alla città di Saint-Julien.
Smantellato nel 1630 in esecuzione dell'ordinanza reale del cardinale de Richelieu del 1626, il castello è abbandonato, ma la cappella, dedicata a San Giuliano 5, è mantenuta dagli abitanti, fino alla fine del XVIII secolo.