Przy warszawskiej ulicy Tamka wznosi się potężny bastion, na którym położony jest uroczy pałacyk. To właśnie zamek Ostrogskich, będący niegdyś schronieniem Złotej Kaczki, a obecnie siedziba Muzeum Fryderyka Chopina.
Niewielki pałacyk wiąże się z osobą ks. Janusza Ostrogskiego, kasztelana krakowskiego, który pod koniec XVI wieku rozpoczął budowę zamku. Udało mu się wznieść jedynie piwnice i murowaną basteję. W takim stanie po śmierci kasztelana w 1620 roku budowla przeszła na własność książąt Zasławskich, a następnie rodziny Denhoffów. Najprawdopodobniej w 1680 roku posiadłość kupił podkanclerzy koronny Jan Gniński z zamiarem wniesienia tu własnej siedziby. Z zamówieniem na projekt pałacu zwrócił się do Tylmana z Gameren, który zaproponował mu budowę okazałej rezydencji złożonej z pałacu właściwego oraz dwóch wolno stojących pawilonów gospodarczych. Projekt ten z powodu ogromnych kosztów pozostał na papierze. Ostatecznie zrealizowano tylko pawilon północny wzniesiony na wysokim tarasie nad wąwozem ulicy Tamka. Budynek ten o formie silnie klasycyzującego baroku górował nad niską zabudową Powiśla i od razu stał się ważnym akcentem panoramy Warszawy oglądanej od strony Wisły.
Po śmierci podkanclerzego Jana Gnińskiego pałac dziedziczyli kolejno jego dwaj synowie. Na początku XVIII stulecia pałac użytkował ordynat Tomasz Józef Zamoyski, ale jego właścicielem stał się dopiero w 1720 roku. Po nim odziedziczył pałac jego brat, ordynat Michał Zdzisław, którego synowie Jan Jakub i Andrzej odstąpili rezydencję w 1740 roku biskupowi przemyskiemu Walentemu Czapskiemu. W 1771 roku właścicielem pałacu był Jan Mikołaj Chodkiewicz, który nosił się z zamiarem jego rozbudowy.
U schyłku XVIII wieku filozof i moralista Marcin Nikuta prowadził w pałacy pensjonat dla młodzieży szlacheckiej. Na początku XIX wieku popadł w ruinę, a obszerne jego podziemia ciągnące się rzekomo w kierunku ulicy Książęcej, stały się siedzibą włóczęgów i szumowin wychodzących nocami na rabunek.
W 1820 roku posiadłość nabył na licytacji sekretarz policji Michał Gajewski, który podwyższył pałac o jedno piętro. Wzniósł także oficyny z przeznaczeniem na koszary. W części zabudowań przypałacowych mieściło się targowisko i jatki rzeźnicze. W czasie powstania listopadowego znajdował się w pałacu szpital wojskowy, a później kolejno: fabryka wyrobów gumowych, rządowy „Dom Zdrowia”, szpital dla cholerycznych , instytut moralnie zaniedbanych dzieci, schronisko dla powodzian, aż w 1854 roku gmach nabyło miasto z przeznaczeniem na koszary.
W 1858 roku pałac stał się siedzibą Warszawskiego Instytutu Muzycznego. Instytut ten kontynuował tradycje założonego w 1821 roku Konserwatorium Muzycznego. W Warszawskim Instytucie Muzycznym, zwanym powszechnie „konserwatorium”, wykładali m.in. Apolinary Kątski, Aleksander Michałowski, Stanisław Moniuszko, Tomasz Nidecki, Zygmunt Noskowski, Aleksander Zarzycki, a w latach późniejszych niektórzy z pierwszych wychowanków Instytutu, jak Stanisław Barcewicz czy Ignacy Paderewski. W 1914 roku obok pałacu, od strony ulicy Okólnik, wzniesiono nowy budynek z salą koncertową według projektu Stefana Szyllera. Sam pałac, wielokrotnie przekształcany, stracił zupełnie cechy artystyczne. W okresie dwudziestolecia międzywojennego mieściło się tu konserwatorium i szkoła teatralna. Spalony we wrześniu 1944 roku pałac został odbudowany w latach 1949-1954, przywracając mu zewnętrzny wygląd z XVII wieku. Obecnie w pałacu mieści się Muzeum Fryderyka Chopina, będące jedną z najnowocześniejszych instytucji muzealnych Warszawy.