L’immeuble est au pied d'une motte féodale, siège de nombreux fiefs, au cœur du quartier des Illustres de la Renaissance, adossé aux fortifications. Cet hôtel a été construit vers 1784 pour la famille Lépinay de Beaumont. Cet immeuble marque une rupture avec son quartier. À un parcellaire laniéré de petites maisons de moellons, aux toits de tuiles, le commanditaire a entendu opposer un nouvel ordre : l’ordre colossal. L’architecte va se jouer des contraintes et perspectives pour mettre en valeur une façade puissante, dans un quartier exigu, tout en masquant l'imposante toiture en pavillon recouverte d'ardoises. D’habitation, le bâtiment deviendra usine pendant une bonne partie du 20e siècle, avant de revenir habitation en 1999 grâce au dispositif de la Loi Malraux.