W zachodniej części Grzbietu Tenczyńskiego na Górze Zamkowej (362m npm) stoją ruiny Lipowca, zamku, którego historia sięga średniowiecza. Z wyniosłej zamkowej wieży rozciąga się ku południowi daleki widok na okolice Zatora i Oświęcimia. Przy sprzyjającej pogodzie dojrzeć można odległe Beskidy: Żywiecki, Śląski i Mały. Pierwsza wzmianka o tym miejscu pojawia się w dziele Jana Długosza i mówi, że teren na którym wzniesiono zamek należał u początku XIII w. do małopolskiego rodu rycerskiego Gryfitów. Dobra babickie wraz z Lipowcem były własnością Klemensa Gryfity z Ruszczy. Obdarzył nimi klasztor w Staniątkach, którego ksienią była jego córka. W 1243 r. nabył je od sióstr benedyktynek biskup krakowski Jan Prandota. Lipowiec pozostał własnością biskupstwa do 1789 r. Za czasów biskupa Jana Prandoty zamek prawdopodobnie był drewniany. W pierwszym dziesięcioleciu XIV w. był w posiadaniu biskupa krakowskiego Jana Muskaty, który długo przeciwstawiał się księciu Władysławowi Łokietkowi, dążącemu do przywrócenia Piastom tronu krakowskiego.
W źródłach historycznych odnotowano różne akcje zbrojne przeciw zwolennikom księcia. Kres walkom położyła koronacja Łokietka (1320). Do dzisiaj z tych czasów zachowała się niegdyś wolnostojąca okrągła wieża, której dolne partie pochodzą na pewno z drugiej połowy XIII i początku XIV w., studnia wykuta w litej skale i fragment przedbramia. W późniejszym okresie inicjatorami przekształceń, które dotyczyły korpusu zamku górnego i systemu obronnego byli biskupi Wojciech Jastrzębiec i Zbigniew Oleśnicki; tablice z ich herbami – Jastrzębiec i Dębno – zachowały się do dziś, wmurowane wtórnie w ścianę dziedzińca górnego. Powstało wtedy skrzydło zachodnie i północne, kaplica, kuchnia i kilka wnętrz reprezentacyjnych na wyższych kondygnacjach. O pobycie na zamku Zbigniewa Oleśnickiego zachowała się wzmianka z 1430 r., a w 1444 r. biskup wystawił tutaj przywilej dla księstwa siewierskiego. Z XV w. pochodzą udokumentowane fakty o użytkowaniu zamku jako więzienia. W 1437 r. Zbigniew Oleśnicki więził w lochu wieży opata Mikołaja z Buska. Ponadto Kazimierz Jagiellończyk oddał biskupom krakowskim władzę sądowniczą nad świeckimi poddanymi klucza dóbr lipowieckich. W XVI w. wzrasta znaczenie Lipowca jako więzienia. Przetrzymywano tu osoby podległe jurysdykcji duchownej na terenie diecezji krakowskiej. Duchowni bowiem nie podlegali sądom świeckim, lecz własnym, stanowym. Obok duchownych odpowiadających za przekroczenia prawa kanoniczego więziono też propagatorów i zwolenników szerzącej się w Polsce reformacji. W 1526 r. uwięziono w Lipowcu Macieja z Ropczyc, a w 1550 r. Franciszka Stankara, profesora Akademii Krakowskiej, znanego reformatora religijnego, zwolennika Zwinglego, współautora przekładu Biblii zwanej Brzeską. Z czasami pontyfikatu biskupów Jana Konarskiego i Andrzeja Zebrzydowskiego (XVI w.) wiąże się powiększenie cel więziennych, pojawienie się dwu półbaszt na drodze dojazdowej do przedzamcza. Przekształceniu uległ także rejon przedbramia. W sierpniu 1629 r. groźny pożar strawił całkowicie zabudowę przedzamcza, poczynił także szkody w zamku górnym. Odbudową zajął się biskup Jakub Zadzik. Poprawiono mury, odbudowano drugą basztę, na nowo pokryto dachy. Ze względu na zły stan zabudowy zamek przestał być siedzibą biskupów. Rolę tę przejął obszerny dwór u podnóża Lipowca. W 1655 r. zamek nie zdołał obronić się przed nowoczesną armią szwedzką. Po blisko dwuletnim pobycie generał Wirtza opuścił zamek – rozpoczął się długi okres upadku. Pobyt wojsk okupanta przyczynił się do znacznej dewastacji, stracił rolę rezydencji, bo nie mógł sprostać wymogom wygody i reprezentacji. Podźwignął się jeszcze w XVIII wieku, zaadaptowany do zmiennych funkcji przez biskupa Felicjana Szaniawskiego, który w 1720 r. przystąpił do odbudowy zamku przystosowując go na miejsce rekolekcji i dom poprawy dla księży. Opiekę nad nim powierzył konwentowi misjonarzy ze Stradomia. W 1780 r. dobra lipowieckie wraz z zamkiem przejęto na rzecz skarbu państwa. W 1809 r. strawił go kolejny pożar naruszając dachy i mury najwyższej kondygnacji i poważnie uszkodził istniejące wnętrza. W pierwszej połowie XIX w. dzierżawili go hr. Józef Hadziewicz, Wincenty Kędzierski i Jan Wiśniewski. W 1868 r. stał się własnością Antoniny Łąckiej, od której odkupili Lipowiec hrabiowie Donnersmark. Opuszczony i niszczejący zamek przetrwał w stanie ruiny do połowy lat pięćdziesiątych XX w., kiedy to uznano Lipowiec za obiekt zabytkowy. Prace konserwatorskie i wykopaliskowe przeprowadzono w latach 1961-1969, na zlecenie ówczesnego Wojewódzkiego Konserwatora Zabytków w Krakowie. Po zakończeniu prac konserwatorskich obiekt został włączony jako oddział do chrzanowskiego Muzeum a od 01.01.2007r. jest częścią Muzeum – Nadwiślańskiego Parku Etnograficznego w Wygiełzowie i Zamku Lipowiec. Z historii najnowszej wiadomo, iż rotmistrz Witold Pilecki po udanej ucieczce z obozu koncentracyjnego w Oświęcimiu, noc z 27/28 kwietnia 1943 spędził w okolicy Zamku Lipowiec.