Le site du Marais sur lequel se trouvait jadis le château-fort des Hurault, dont ne subsistent aujourd'hui que les douves et le donjon (c'est la tour que l'on voit en entrant), ou Sully, le grand ministre d'Henri IV reçut magnifiquement , s'est développé à travers les siècles.
A la fin du XVIIIe siècle, en 1778, le trésorier général de l'artillerie et du génie, Jean Le Maître , y fit construire le château actuel, le plus beau château d'Ile de France pour cette période, par l'architecte Barré. Il faut remarquer le parti que Barré a su tirer du site lui-même, la proportion du château par rapport au miroir d'eau, le mystérieux péristyle à l'italienne, la perfection avec laquelle ont été traités bandeaux et frises dus aux plus grands sculpteurs du temps, l'élégante habileté avec laquelle le château XVIIIe est raccordé à l'ancien château par le petit pont à galerie vitrée.
De même Achille Duchêne -à qui l'on doit la restauration d e la plupart des jardins attribués à André Le Nôtre et qui en s'inspirant des plans de l'ancien jardin à la française a crée l'actuel en 1910- a veillé à l'harmonie des proportions par rapport aux façades.
Tout cela fait du Marais un chef d'oeuvre de l'intelligence aussi bien que de l'art français. La Duchesse de Talleyrand l'acquit en 1899 de la Duchesse de Noailles et y a commencé un grand travail de restauration poursuivi par sa fille Violette de Talleyrand épouse du Président Gaston Palewski, ancien directeur du cabinet du général de Gaulle, membre de l'Institut , ancien ministre d'état. Ce sont actuellement les enfants de celle-ci, Anna de Bagneux et Charles Maurice de Pourtales qui s'y adonnent.
Beaucoup de visiteurs illustres se sont succédés au Marais ; le fabuliste Florian, neveu de Voltaire, Mathieu Molé, futur premier ministre de Louis-Philippe qui devint le gendre de la maitresse de maison; Wellington quand il était ambassadeur à Paris ; il y a eu surtout Chateaubriand et Pauline de Beaumont, Sainte-Beuve et Mme d'Arbouville et plus récemment André Malraux et Louise de Vilmorin.