Lorsque les Gouverneurs de la colonie de Martinique quittèrent Saint-Pierre, ils s’installèrent d’abord au Fort Saint-Louis dont le marquis de Baas avait fait sa résidence dès 1672. Par la suite, ils occupèrent une grande maison en bois qui abritait le vieux palais du Gouvernement séparé de celui du Petit Gouvernement (emplacement actuel de la Bibliothèque Schœlcher) par la rue du Gouvernement, jusqu’à la construction du nouvel Hôtel du Gouverneur de 1923 à 1928, par l'architecte Germain Olivier (1869-1942) avec comme architecte d'exécution Paul Fraisse. Il est devenu préfecture lors de la départementalisation de mars 1946 et est toujours occupé par les services de la préfecture de Région.

La préfecture est partiellement inscrite au titre des monuments historiques depuis le 20 mars 1990.