Na szczycie stożkowatego wzgórza, porośniętego gęstym lasem, widoczne są ruiny zamku. W miejscu tym w XIII wieku byłą fortyfikacja drewniano-ziemna, która zostałą spalona podczas walk Władysława Łokietka z Wacławem II o tron polski. Zamek murowany, dobudowany do wcześniejszego cylindrycznego stołpu, wzniósł prawdopodobnie właścicieel, Otto z Pilicy, herbu Topór. Ród ten w XV wieku przybrał nazwisko Pileckich od najbliższej osady Pilicy. Smoleń stanowiło wtedy zapewne kilka ziemianek smolarzy. Centralnym punktem zamku była wspomniana wysoka, okrągła, murowana wieża. W XIV wieku dobudowano przy niej pański dom mieszkalny oraz mury obwodowe dziedzińca gospodarczego. Zamek rozbudowano w kierunku zachodnim. Na dziedzińcu drugiej, późniejszej części zamku dolnego znajduje się, obecnie częściowo zasypana, studnia wykuta w skale, jak głosi podanie, przez jeńców tatarskich na głębokość około 200 metrów. Wokół studni rozmieszczono pomieszczenia gospodarcze i mieszkalne. Ponoć pod zamkiem znajdują się głębokie lochy łączące go z pobliską górą Biśnik.
Dwa majdany gospodarcze zamków dolnego i górnego łączy przewiązka komunikacyjna. Zachował się w doskonałym stanie gotycki otwór bramny. Od strony dojścia w murach bramy widoczne jest prostokątne wgłębienie, w które wchodził most zwodzony,a nad bramą - otwory na belki z łańcuchami dźwigającymi most.

Zachowały się też fragmenty murów obwodowych o grubości około 2 metrów, z kamienia wapiennego, załamane pięciokrotnie. Od strony zewnętrznej - podparte w narożnikach skarpami.
Po śmierci ostatniego z Toporczków Pileckich w 1564 roku zamek zostałopuszczony i sprzedany. Kupił go w 1570 roku wraz z dobrami pileckimi Filip Padniewski dla swego brata Wojciecha, który rozpoczął budowę renesansowego pałacu w pilicy i opuścił Smoleń.
W 1655 roku opuszczony zamek został spalony przez Szwedów. Od tej pory pozostawał ruiną, która w części dotrwała do naszych czasów.