Costruito a partire dal 1807, questo palazzo particolare fu rapidamente assegnato al Re di Roma, figlio di Napoleone I e di Maria Luisa d'Austria. Negli anni 1830 fu diviso tra diversi proprietari e perse la sua parte centrale. Nel giardino adiacente alla parte divenuta pubblica si trova oggi il Pavillon du Verger. Questo piccolo giardino, recentemente restaurato, risale ai primi anni 1770.