Na prawym brzegu rzeki Białki, na wziesieniu uformowanym ręką człowieka, w miejscu wcześniejszego grodu drewniano-ziemnego Kazimierz Wielki nakazał budowę zamku murowanego. Jego istnienie potwierdza kronika Jana z Czarnkowa oraz rzut murów obwodowych zamku znajdujący się w XIX-wiecznym planie miasta. Ilustracja z drugiej połowy XIX wieku pokazuje ruiny murów obwodowych zamku. Od XIX wieku w tym miejscu znajduje się czynny cmentarz.
Zamek był typowym obiektem obronnym zbudowanym na bagiennym terenie w rozlewiskach Białki. Usytuowano go obok ufortyfokowanego miasta Lelowa, położonego na wysokiej skarpie.

Z analizy porównawczej bliźniaczych ruin zamków budowanych z polecenia króla w Łęczycy, Kole, Koninie i Lanckoronie można przypuszczać, iż zamek w ogólnych zarysach wyglądał tak (cytat za Z Lisem):
- muryobwodowe były zbudowane na rzucie prostokąta, o wielkości dostosowanej do powierzchi sztucznego wzniesienia,
- do murów, od strony wewnętrznej przylegał wieżowy dom mieszkalny,
- otwór wjazdowy znajdował się w pobliżu drugiej budowli murowanej - wieży usytuowanej w narożniku murów,
- Wieżowy dom mieszkany zbudowany był po stronie przeciwległej w stosunku do otworu bramnego i wieży narożnej. Obie wieże łączył ganek straży, biegnący wzdłuż korony murów obwodowych i otaczających dziedziniec.
Każda wieża obronna i jednocześnie mieszkalna spełniałą wiele funkcji:
- na wysokim, bezokiennym parterze znajdowały się magazyny,
- na pierwszej kondygnacji - pomieszczenia reprezentacyjne, wykorzystywane w czasie zjazdów, sądów i biesiad,
- następna kondygnacj była sypialnią pana domu i jego najbliższych towarzyszy,
- ewentualna kolejna kondygnacja była przeznaczona dla rodzin rycerzy i służby,
- zwieńczenie wieży było przystosowane do celów obronnych.
Komunikację wewnętrzną zapewniały schody i drabiny lub klatka schodowa w grubej ścianie lub w ryzalicie dobudowanym do budynku.
Na terenie dzidzińca pod murem obwodowym zazwyczaj budowano drewniane pomieszczenia usługowe: spichlerze, stajnie, kuchnie, łaźnie, dodatkowe pomieszczenia dla czeladzi i służby, studnię, kuźnię, itp. W Lelowie zamek wyglądał zapewne tak samo. Część dziedzińca pozostawała niezabudowana, by mogli się tu schronić ludzie z dobytkim, uciekający przed wrogami.
Zamek lelowski posiadał duże walory obronne - chroniły go bagna i rozlewiska wodne oraz bliskie sąsiedztwo dużego miasta. Do zamku można się było dostać tylko po drewnianym moście dojazdowym z systemem zapór i częściami zwodzonymi.
Niewiele wiadomo o historii lelowskiego zamku. W 1789 roku mieściła się w nim jeszcze kancelaria starościńska. W latach 1804-1805 zamek został rozebrany. Nie pozostał po nim najmniejszy nawet ślad.