Das Hôtel de Clermont ist eines der ältesten Herrenhäuser des «Noble Faubourg», einem Viertel, das zu Beginn des 18. Jahrhunderts auf dem Gelände der Abtei Saint-Germain-des-Prés in der Nähe von Les Invalides entstand.
Dieses architektonische Juwel, das ab 1708 von Alexander Le Blond für die Gräfin von Clermont-Lodève erbaut wurde, beherbergt in der zweiten Hälfte des 18. Jahrhunderts die Kunstsammlung des Grafen Grimod d'Orsay, eine der schönsten, die jemals realisiert wurden. Das Hotel, das während des 2. Kaiserreichs vom Architekten Louis Visconti, dem späteren Schöpfer des Grabes Napoleons in Les Invalides, weitgehend umgebaut wurde, wurde im November 1944 vom Staat beschlagnahmt und 1947 von der Familie Costa de Beauregard erworben. Es beherbergt seitdem staatliche Dienste.
Heute ist es der Sitz des Ministeriums für Beziehungen zum Parlament.