Na prawym brzegu rzeki Czarnej Przemszy, we wschodniej części miasta widoczne są ruiny zamku. Powstał w zakolu rozlewiska rzeki, na usypanej sztucznie wyspie o średnicy 80 m, wznoszącej się 10 m nad poziomem bagien. Jedyna droga prowadziła od strony północno-wschodniej przez kilkudziesięciometrowy wysoki most drewniany.
W XIV w. ziemia siewierska należała do książąt Piastów opolskich i kozielsko-bytomskich, a w XV w. do piastów Cieszyńskich. Nie wiadomo który z Piastów wzniósł pierwszy zamek na wyspie. Pierwszy drewniano-ziemny gród kasztelański mieścił się na terenie Kuźnicy, na wzniesieniu w pobliżu dzisiejszego kościółka św. Jana Chrzciciela, pochodzącego z XII w. Murowany zamek na wyspie prawdopodobnie zbudowano w XIV w.

Starostwo siewierskie wraz z zamkiem kupił w 1443 r. biskup Zbigniew Oleśnicki. W ten sposób część ziemi śląskiej powróciła do granic Polski. Od tego czasu zamek pozostawał własnością biskupów krakowskich jako letnia rezydencja obronna. Zamek był kilkakrotnie przebudowywany w XV, 1 poł. XVI, XVII i XVIII w., co doprowadziło do całkowitego niemal zatarcia pierwotnego kształtu. W roku 1657 zamek został spalony przez Szwedów. Odbudowano go i użytkowano do końca XVIII w.
Pierwszy zamek murowany został zapewne wzniesiony na planie nieregularnym, na co wskazuje ukształtowanie części wschodniej, zabudowanej jednotraktowymi budynkami mieszkalnymi. W XV i XVI w. dobudowano pozostałe budynki tworzące skrzydła zamykające dziedziniec. Wzdłuż wewnętrznych murów trzypiętrowej rezydencji biegły ganki komunikacyjne wspierajce się na kolumnach. Z arkadowych krużganków pozostała tylko jedna półkolumna na północno-zachadniej ścianie dziedzińca. Najlepiej zachowaną częścią ruiny jest wieża bramna, zbudowana z kamiennych ciosów, kamienia wapiennego i cegły.
W XV w. została do niej dobudowana basteja z otworami strzelniczymi dla dział oraz wjazdem, który znajdował się 8 m powyżej poziomu lustra wody w fosie. W doskonałym stanie zachowaó się dwuczęściowy ciąg komunikacyjny prowadzący na zamek przez wieżę bramną i przylegającą do niej basteję. Składał się z odrębnego, 80 cm szerokości przejścia dla pieszych i 2 m szerokości przejazdu dla konnych i pojazdów. Ten podwójny system czynił z przejścia "wąskie gardło", które mogło być skutecznie kontrolowane przez straże zamkowe. Pod przejazdem i przejściem w wieży bramnej znajdują się głębokie (5 metrów) murowane piwnice. Usunięcie nakrywających je osłon z darnic stwarzało dodatkowe zabezpieczenie obronne.
Stan ruiny był bardzo zły - wielu jej elementom groziło zawalenie, dlatego też w ostatnich latach podjęto prace konserwatorsko - remontowe.