Quando i Governatori della colonia di Martinica lasciarono Saint-Pierre, si stabilirono inizialmente al Fort Saint-Louis, di cui il marchese de Baas aveva fatto la sua residenza dal 1672. In seguito, essi occuparono una grande casa di legno che ospitava il vecchio palazzo del Governo separato da quello del Piccolo Governo (attuale sede della Biblioteca Schœlcher) per via del Governo, fino alla costruzione del nuovo Hotel del Governatore dal 1923 al 1928, dall'architetto Germain Olivier (1869-1942) con come architetto esecutivo Paul Fraisse. È diventato prefettura durante la dipartimentazione del marzo 1946 ed è ancora occupato dai servizi della prefettura della Regione.
La prefettura è parzialmente iscritta come monumento storico dal 20 marzo 1990.