Construido a partir de 1807, este palacete privado fue rápidamente asignado al rey de Roma, hijo de Napoleón I y de María Luisa de Austria. En la década de 1830, se divide entre varios propietarios y pierde su parte central. En el jardín contiguo a la parte pública se encuentra hoy el pabellón del Huerto. Este pequeño pabellón de jardín, recientemente restaurado, data de principios de 1770.