1782 erwarb der geheime Rat und spätere Hofmarschall Eberhard Sylvius von Frankenberg das Grundstück und ließ sich ein Wohnhaus errichten, das bereits den Proportionen des späteren Winterpalais entsprach.

1798 kaufte die herzogliche Verwaltung das Gebäude, um es als Gästehaus zu nutzen.

1802 heiratete der spätere Herzog August von Sachsen-Gotha-Altenburg (1772 -1822)
Caroline Amalie von Hessen-Kasse (1771 -1848).

1806 musste deren Vater, Kurfürst Wilhelm I. aus Schloss Wilhelmshöhe in Kassel fliehen.
König Jerome I. von Westfalen, der Bruder Napoleons, hatte es als Residenz besetzt.

1808 - 1813 besuchten Jakob und Wilhelm Grimm mehrere Male ihre Tante Henriette Philippine Zimmer, die im Winterpalais der Kurfürstin Wilhelmine Karoline von Hessen Kassel als erste Kammerfrau diente.

1813 kehrte das hessische Kurfürstenpaar nach Kassel zurück.
Das ehemals "Frankenbergsche Haus" wurde nun als "Churfürstliches Haus" bezeichnet.

1814 nahm Caroline Amalie hier ihren Wohnsitz.

1821 schenkte ihr Herzog August das Anwesen als Winterresidenz und das gegenüberliegende Schloss Friedrichsthal als Sommerresidenz.

1822 erfolgte der Umbau zum "Winterpalais".

1845 besuchten die britische Königin Viktoria und ihr Gemahl Prinz Albert von Sachsen Coburg und Gotha hier dessen geliebte Großmutter Caroline Amalie.
Bis zu ihrem Tod 1848 blieb es ihr Witwensitz.

1850 - 1918 wurde das Gebäude als Staatsministerium genutzt.

1919 bis Anfang der 90er Jahre erfuhr es verschiedenste Nutzungen, zuletzt als Zeitungsredaktion "Das Volk".

1992 - 2011 stand das Gebäude leer und erfuhr schwere Schäden.

2011 - 2014 wurde es zur Bibliothek umgebaut.