Il Palazzo di Marmo (Marmorpalais) venne edificato nel 1789-1791 sulla riva del Heiliger See (Lago Santo) dall'architetto Carl von Gontard come residenza estiva di Re Francesco Guglielmo II. Questo castello diede avvio all'architettura neo-classica in Prussia. L'edificio in mattoni di forma cubica venne rivestito con elementi architettonici in marmo di Slesia, che valsero al palazzo il proprio nome.
Carl Gottahrd Langhans progettò gli interni, tra cui la stanza da letto del sovrano completamente rivestita in legno, la stravagante stanza orientale e la sala da concerto ispirata agli antichi templi. Il mobilio invece venne acquistato dal Re e dalla contessa di Lichtenau, che fu per anni la sua amante. Tra gli oggetti d'arredo sono presenti antiche sculture, mobili pregiati, dipinti di diversi pittori, tra cui Angelika Kauffmann e un camino in marmo fatto costruire a Roma appositamente per il castello. Il Palazzo di Marmo possiede inoltre la seconda collezione di ceramiche Wegdwood più importante della Germania.
Nel 1797 iniziarono i lavori per l'ampliamento del castello che prevedevano la costruzione delle due ali laterali, completate soltanto negli anni '40 del 1800 sotto Federico Guglielmo IV, per opera degli architetti Michael Philipp Boumann e Ludwig Ferdinand Hesse. Le ali laterali sono sorrette esternamente da colonne di marmo ornate con figure che raccontano la saga dei Nibelunghi.