Nieopodal wsi Babice, na wzgórzu( 362 mn.p.m.), znajdują się ruiny zamku Lipowiec. Niegdyś u stóp wzgórza wiódł trakt łączący stolice Śląska i Małopolski. Prawdopodobnie istniało tu przedhistoryczne grodzisko, a następnie zameczek rycerski stronników Konrada Mazowieckiego. Po zdobyciu władzy Bolesław Wstydliwy kazał w 1243 roku biskupowi Prandocie zbudować tu umocnienia mające chronić granicę państwową. Powstał gród drewniano - ziemny, który około 1295 roku stał się własnością biskupa Jana Muskaty. Wzniósł on wewnątrz grodu wysoka kamienna wieżę cylindryczną. (podobne stołpy zbudowano wówczas w Olsztynie, Smoleniu i Będzinie). Biskup Muskata był stronnikiem króla czeskiego - Wacława II, roszczącego pretensje do korony polskiej. Występował przeciwkoŁokietkowi. Lipowiec był jego ostatnim schronieniem przed zwycięskim Łokietkiem.

W 1443 r. księstwo siewierskie kupił biskup Zbigniew Oleśnicki, doradca króla Władysława Jagiełły. Ten zakup części ziemi śląskiej umożliwił przeniesienie rezydencji biskupów krakowskich z Lipowca do Siewierza. Zamek w Lipowcu zaczął pełnić funkcję rekolekcyjno - więzienną dla księży, którzy popadali w konflikt z doktryną rzymsko - katolicka, skłaniając się w stronę reformacji. Funkcja obronna zamku lipowieckiego została w tym okresie utrzymana. Stale przebywał tu jeden z biskupów, liczni księża, zakonnicy oraz załoga wojskowa.
Przebudowane zostało XIV - wieczne założenie obronne. Zachowana do dziś cylindryczna wieża została nadbudowana o trzy kondygnacje. W dwóch górnych umieszczono oteory strzelicze, przystosowane do broni palnej, co umożliwiało ostrzeliwanie drogi dojazdowej do wieży bramnej. Otwór wjazdowy umieszczono 12 metrów powyżej podstawy murów. Poszczególne kondygnacje połaczono krętymi schodkami w grubościach murów. Wzmocniono i rozbudowano mury obwodowe.

W czasie "potopu" (1655 r.) Szwedzi po krótkiej walce zdobyli zamek. Przez dwa lata mieszkał tu gubernator Krakowa, generał Paul Wirtz. Działające w okolicach zamku oddziały polskie uniemożliwiły Szwedom aprowizację i zadawały liczne straty, co w końcu zmusiło załogę do opuszczenia zamku. Wycofując się Szwedzi zamek podpalili.
W połowie XVIII wieku zamek nie miał już żadnej wartości militarnej. Został gruntownie przebudowany i rozbudowany. W dalszym ciągu wykorzystywano go jako miejsce odosobnienia dla księży zbytnio poddających się oświeceniowej swobodzie obyczajowej.
W dolnej części wieży znajduje się tw. loch głodowy, pozostałość obyczajów więziennych z XII i XIV w. Wokół dziedzińca dobudowano budynki mieszkalne z licznymi celami.
W 1789 r. zamek został zajęty przez wojska austriackie. W 1800 r. pożar zniszczył dachy i górne stropy pomieszczeń. Zamek pozostał zamieszkały do poł. XIX w.

W czasie powstania styczniowego (1863 r.) chronił się tu oddział generała Mariana Langiewicza.
W 1959 roku przeprowadzono badania powierzchniowe, a w latach 60 - tych prace archeologicze i budowlano - konserwatorskie, kontynuowane do dzisiaj. W 1969 roku utworzono tu muzeum (Oddział Muzeum w Chrzanowie). U stóp wzgórza zamkowego (w kierunku zachodnim) znajduje się Nadwiślański Park Etnograficzny z obiektami budownictwa drewnianego okolic Krakowa.