Początkowo pałac projektowali architekci nowej części Luwru, jednak ze względu na spore koszty realizacji zaniechano budowy. Dopiero w połowie XIX wieku, na wniosek syna właściciela miasta, postanowiono zacząć wznosić rezydencję w stylu włoskiego renesansu. Pałac miał stanąć na wzgórzu. W ponad 100 mieszkalnych pomieszczeniach znajdowały się m. in. meble gdańskie, ozdobne schody, rzeźby oraz dzieła sztuki. Budynek zawierał sale francuskie, oranżerie, biblioteki oraz pokój gdański. Jako ciekawostkę watro dodać, iż J. Kossak uwiecznił ów pałac na dwóch swych obrazach. Spora część wspomnianych wcześniej zbiorów uległa zniszczeniu podczas II Wojny Światowej, jednak ocalałą resztę właściciele próbowali uchronić, wywożąc ją za granicę. Od początku istnienia, aż do początku XX wieku pałac przechodził liczne remonty oraz przebudowy. Rezydencja służyła swym rodowitym właścicielom do końca lat 30. XX wieku. W czasie wojny mieszkał w nim generalny gubernator okupowanych ziem polskich. Za jego sprawą pałac poddano kolejnej przebudowie, dodając klatkę schodową. Po wojnie budynek służył jako ośrodek szkolno-wychowawczy, następnie miał być siedzibą centrum rehabilitacji, jednak nigdy nie zrealizowano tego pomysłu. Pałac zaczął niszczeć. Potomkowie dawnych właścicieli pałacu zaczęli od początku XXI wieku ubiegać się o zwrot majątku. Dopiero w 2013 roku oficjalnie pałac trafił w ręce rodziny założycieli rezydencji.