Cuando los gobernadores de la colonia de Martinica abandonaron San Pedro, se instalaron primero en el Fuerte de San Luis, cuya residencia había hecho el marqués de Baas en 1672. Posteriormente, ocuparon una gran casa de madera que albergaba el antiguo palacio del Gobierno separado del del del Pequeño Gobierno (actual emplazamiento de la Biblioteca Schœlcher) por la calle del Gobierno, hasta la construcción del nuevo Hotel del Gobernador de 1923 a 1928, por el arquitecto Germain Olivier (1869-1942) con Paul Fraisse como arquitecto de ejecución. Se convirtió en prefectura durante la departamentalización de marzo de 1946 y sigue siendo ocupado por los servicios de la prefectura de Región.
La prefectura está parcialmente inscrita en la lista de monumentos históricos desde el 20 de marzo de 1990.