L'Hôtel de Clermont è uno dei più antichi palazzi del «Noble Faubourg», quartiere che nasce all'inizio del XVIII secolo sulle terre dell'abbazia di Saint-Germain-des-Prés, vicino agli Invalides.
Gioiello architettonico costruito a partire dal 1708 da Alexandre Le Blond per la contessa di Clermont-Lodève, accoglie nella seconda parte del XVIII secolo la collezione d'arte del conte Grimod d'Orsay, una delle più belle mai realizzate. Ampiamente rimaneggiato sotto il 2º Impero dall'architetto Louis Visconti, futuro creatore della tomba di Napoleone agli Invalides, l'hotel sarà requisito dallo Stato nel novembre 1944 e poi acquisito dalla famiglia Costa de Beauregard nel 1947. Ospita da allora servizi dello Stato.
Oggi è sede del Ministero delle Relazioni con il Parlamento.