Kurfürst Clemens Wenzeslaus ließ 1777 bis 1786 dieses Schloß im Stil des französischen Klassizismus errichten. In den Jahren 1850 bis 1857 amtierte hier als preußischer Militärgouverneur Prinz Wilhelm - der spätere deutsche Kaiser Wilhelm I. - mit seiner Gattin Augusta. Das 1944 bis auf die Außenmauern zerstörte Schloß wurde in den Jahren 1050/51 nach alten Plänen restauriert.

Bei der letzten Restaurierung 1998 wurde statt der bisherigen äußeren Farbgebung in Ocker/Blau-Rot, die für die preußischen Garnisons- und Festungsbauten sowie Schlösser Preußens üblich war, diejenige des 18. Jahrhunderts wiederhergestellt - weißgrau für die Wandflächen und Grau für die Architekturglieder. Heute wird die ehemalige Residenz als Bürogebäude für verschiedene Bundesbehörden (z.B. Oberfinanzdirektion, BWB, Prüfungsamt des Bundes) genutzt und ist deshalb nur bei Sonderveranstaltungen öffentlich zugänglich.

Im Rahmen der Bundesgartenschau 2011 werden im Moment umfassende Umbaumaßnahmen am Schloss und dem dahinter gelegenen Schlossgarten durchgeführt.