Na najwyższym wzgórzu Wyżyny Krakowsko-Częstochowskiej, Górze Janowskiego (504 m n.p.m.), zbudowano w latach 1530-1545 magnacką siedzibę obronną doskonale wkomponowaną pomiędzy skalne wychodnie. Wzniesiono ją z kamienia wapiennego na miejscu gotyckiego zamku Włodków, który z kolei powstał na miejscu drewnianych umocnień, prawdopodobnie spalonych przez Tatarów w XIII w. Ród Włodków Sulimczyków objął Ogrodzieniec na początku XIV w.
Zwano ich później Ogrodzienieckimi lub Ogrodzińskimi. Wznieśli oni zamek murowany. Jego pozostałości odkryto na terenie późniejszego zamku renesansowego. Prawdopodobnie zamek gotycki Włodków został wybudowany tak, że skały tworzyły jego naturalną osłonę z trzech stron. Od strony północno-zachodniej, nie osłoniętej, były umocnienia w postaci wału lub muru.Na skałach wznosiły się budynki mieszkalno-obronne. Wjazd prowadził od południowego wschodu wąską szczeliną między dwoma skałami. Na miejscu znajdującej się tu bramy stanęła w XVI w. wieża bramna z wyszukanym portalem. W 1470 r. Włodkowie sprzedali swą posiadłość wraz z zamkiem mieszczanom krakowskim Salomonowiczom. Kolejnymi właścicielami byli Rzeszowscy i Pileccy, a od 1508 r. ponownie Włodkowie. W 1523 r. posiadłość została przejęta za długi przez krakowskiego burgrabiego Jana Bonera. Jego bratanek, Seweryn Boner, w 1530 r. przystąpił do budowy okazałej siedziby rodowej na miejscu zamku Włodków. Zamek Bonerów swym przepychem nie ustępował Wawelowi. Wiele cennych przedmiotów do wyposażenia zamku sprowadzono z zagranicy. Rezydencję obronną wzniesiono w latach 1530-1545. Składa się z zamku górnego i niżej położonego podzamcza o powierzchni ok. 3 ha. Otaczał ją mur łączący się ze skałami. W jego obrębie mieściły się zabudowania mieszkalne dla załogi i służby oraz budynki gospodarcze. Wewnętrzny dziedziniec zamkowy obudowany był arkadowymi krużgankami, typowymi dla siedzib magnackich w tym okresie.

Zamek posiadał trzy wieże, których hełmy nawiązywały prawdopodobnie do wzorów wawelskich. W wieży bramnej mieściła się kaplica zamkowa. Dwie pozostałe pełniły funkcję klatek schodowych łączących poszczególne kondygnacje. Miały również znaczenie symboliczne. W latach 1550-1560 Stanisław Boner, syn Seweryna, rozbudował zamek. Powstało wtedy południowo - zachodnie skrzydło z podłużnym budynkiem, zwanym Kurzą Nogą, ze strzelnicami umieszczonymi na trzech kondygnacjach, i częścią mieszkalną na dwóch pozostałych. Od strony południowo - wschodniej dobudowano beluard (bastion narożny). Połączenie tych dzieł obronnych murem z narożną cylindryczną basztą stworzyło dodatkowe dwa dziedzińce wewnętrzne.
W 1526 r. zamek wraz z dobrami ogrodzienieckimi siostra Stanisława, Zofia, wniosła w posagu Janowi Firlejowi, zwolennikowi arianizmu. W 1587 r. zamek został zdobyty lub poddany wojskom austriackiego arcyksięcia Maksymiliana Habsburga, kandydata do korony polskiej. W latach 1655-5Z Szwedzi ograbili i w znacznym stopniu zniszczyli obiekt. W 1664 r. wdowa po Andrzeju Firleju przekazała zamek bratankowi męża, Mikołajowi. Od 1669 r. nowym właścicielem klucza ogrodzienieckiego był kasztelan krakowski, Stanisław Warszycki. Odbudował on zamek. Ok. I695 r.dobra ogrodzienieckie Barbara Warszycka wniosła w wianie Kazimierzowi Męcińskiemu, staroście wieluńskiemu. Podczas kolejnego najazdu szwedzkiego w początkach XVI w. zamek został podpalony. Odbudowano go częściowo. Ok. 1784 r. posiadłość kupił od Męcińskich krakowski podsędek, Tomasz Jakliński. Nie dbał on zbytnio o zamek, stopniowo chylący się ku ruinie. Do 1810 r., jego siostra, Mieroszewska, mieszkała w środkowej części zamku, którą musiała opuścić, gdy groziło zawalenie się stropów. Na początku XX w. przeprowadzono częściową parcelację dóbr ogrodzienieckich. Właścicielem parceli z ruinami zamku zastał chłop, Ludwik Kozłowski. Mury zamkowe stopniowo rozbierano, wykorzystując budulec na zabudowania w Podzamczu.
Podczas I wojny światowej zamek został znacznie zniszczony przez artylerię. Dzięki inicjatywie Aleksandra Janowskiego zamek wykupiono z rąk prywatnych. W latach 1959-1964 zostały przeprowadzone badania archeologiczne połączone z pracami konserwatorskimi. Ruina renesansowej rezydencji obronnej Bonerów jest doskonałym przykładem polskiej fortyfikacji wyżynnej typu bastejowego.