Son propriétaire initial, Ernest Desurmont, industriel du textile et artistepeintre, était un collectionneur invétéré ! La porte d’entrée vient de la prison de l’ancien hôtel de ville, certains bas-reliefs en bois de l’église Saint-Christophe et les statues, marbres, colonnes... proviennent de châteaux ou d’églises.