Au XVIIème siècle, la porte de la ville fut convertie en beffroi puis en prison. La tourelle en poivrière dessert 4 niveaux abritant les cachots, la charpente et le mécanisme de l'horloge à 4 cadrans. L'édifice offre une vue magnifique sur le château et sur les toits de Saint-Fargeau.