Le château de Talmay se compose de deux parties. Un donjon du 13e siècle édifié par Guillaume de Pontailler, surmonté d'un toit pyramidal ajouté au 17e siècle par Pierre Ier Fijan, acquéreur du domaine, conseiller maître à la Cour des Comptes de Paris. Son petit fils Pierre II Fijan , conseiller au Parlement de Bourgogne, se décida à remplacer la vieille demeure des Pontailler, tandis que son cousin Dom Fijan était l’avant dernier abbé de la Ferté, de 1733 à 1761. Pierre Fijan fait construire, entre 1761 et 1764, sur les plans de l'architecte d'Aviler un corps de logis à l'ombre du donjon. Dix ans auparavant, il avait fait dessiner des jardins à la française, aujourd'hui classés Monument Historique et dotés du label « jardin remarquable ». Pierre Auguste Floret, maître de forges, achète en 1824 la propriété. Il meurt en 1847, sans postérité, et laisse pour unique héritière sa nièce Fanny Derrion Duplan, qui avait épousé en 1842, à Givry, le Baron Paul Thénard, fils de Louis-Jacques Thénard. Élevé dans le foyer de science qu'étaient le laboratoire et les relations de son père, Paul s'adonna à des travaux de chimie appliqués à l'agriculture (traitement des maladies de la vigne contre le phylloxéra, etc.). Ces travaux lui ouvrirent les portes de l'Académie des Sciences en 1864. De 1860 à 1867, Paul Thénard fit construire une ferme modèle à Talmay et fut le premier à introduire dans la région l’usage des instruments agricoles, du drainage et des engrais chimiques. En 1921, à la mort de Fanny Thénard, sa petite fille Jeanne Thénard qui avait épousé Pierre Bordeaux Montrieux reprend Talmay à l'âge de 25 ans ! Elle fut maire de sa commune pendant de longues années. Son mari réhabilita les jardins à la française transformés en jardin à l'anglaise au cours du 19e siècle. Louis Bordeaux Montrieux, leur fils, épousa Bérangère de Combaud Roquebrune, arrière-arrière petite fille de Paul Thénard et petite fille de Fanny de Combaud, soeur ainée de Jeanne…Ils entreprennent, avec passion, d'importants travaux d'entretien et  d'embellissement tant intérieurs qu'extérieurs qui assurent une pérennité à cette maison familiale