En 1750, Chaumont passe à un maître des eaux et forêts, Jacques-Donatien Le Ray, futur intendant des Invalides, qui y fonde une célèbre manufacture de produits céramiques.

En 1810, Madame de Stael, exilée, s'installe au château pendant les aventures de monsieur Le Ray, fils, aux États-Unis.

Monsieur Le Ray avait fait de Chaumont une manufacture, le château devient une ferme après sa cession en 1829 à un certain monsieur d'Etchegoyen.

Marie Say en devient propriétaire en 1875. Elle épouse peu après Amédée de Broglie (fils d'Albert de Broglie).

Pendant quarante ans, le château connaît une époque fastueuse durant laquelle les Broglie donnent fêtes et réceptions, en menant une vie luxueuse. Finalement, des revers de fortune obligent la princesse de Broglie à vendre Chaumont en 1938 à l'État qui l'affecte au service des Monuments historiques.

Pendant la visite on découvre de très belles pièces comme le Salon du Prince de Broglie, la salle à manger, la salle de billard, etc.