Olsztyński zamek był jednym z kluczowych punktów obronnych na pograniczu ze Śląskiem w systemie obronnym powstałym za panowania Kazimierza Wielkiego. W dokumencie z 1349 r. wymieniony jest Zbyszko "Burgrabia de Olsten". W 1370 r. król Ludwik Węgierski oddał Olsztyn w lenno księciu Władysławowi Opolczykowi za popieranie jego planów dynastycznych. Jak pozostałe zamki Władysław Jagiełło odebrał, Olsztyn spiskującemu i zajmującemusię planami rozbioru Polski księciu opolskiemu w 1391 r. Zdobył zamek po krótkim oblężeniu, przede wszystkim dzięki temu, że dysponował artylerią. Ustanowił tu siedzibę starostwa niegrodowego i wzmocnił stałą załogę. W latach 1442-57 zamek pełnił istotną funkcję w odpieraniu napadów książąt śląskich. Owczesny starosta, Mikołaj z Przyrowa, rozbudował zamek w kierunku zachodnim. Kolejne rozbudowy nastąpiły ok. 50, 100 i 150 lat później. Renesansową modernizację zamku przeprowadzono w XVI w.
W grudniu 1587 r. zamek oblegały wojska arcyksięcia Maksymiliana, Habsburga ubiegającego się o tron polski. Załoga pod dowództwem Kacpra Karlińskiego nie poddała zamku. Zamek został znacznie uszkodzony.
W 1656 r. Szwedzi oblegali i zdobyli zamek. Od tego czasu zamek popadł w ruinę. W 1722 r. ruiny częściowo rozebrano, a materiał wykorzystano do odbudowy spalonego kościoła w Olsztynie.

W wyniku badań archeologicznych przeprowadzonych w latach 1959, 1960, 1969 przez Włodzimierza Błaszczyka stwierdzono, że początki zamku sięgają XI w. Na zamkowym wzgórzu znajdowało się wtedy drewniane grodzisko, na terenie późniejszego zamku górnego. Pozostał po nim w odległościok. 60 m na południe od wieży cylindrycznej, nasyp - dawny wał drewniano-ziemny. Został on spalony w poł. XII w., w okresie rozbicia dzielnicowego. Przy odbudowie grodziska wymurowano wewnątrz drewniano - ziemnej zabudowy cylindryczną wieżę murowaną. Podwyższono ją w XV w. do ponad 30 m ośmioboczną ceglaną nadbudową, w celu zwiększenia pola obserwacji i zasięgu ostrzału z ciężkiej broni ręcznej.
Owalna wieża (stołp) z drugiej połowy XIII w. była najstarszą murowaną częścią gotyckiego założenia zamkowego z połowy XIV wieku. Zamek górny w czasach Kazimierza Wielkiego składał się ze stołpu i domu mieszkalnego, najprawdopodobniej wieżawego, otoczonego wraz z dziedzińcem wewnętrznym murem obwodowym. Obiekt zajmował powierzchnię ok. 500 m2. Poniżej od strony południowo-wschodniej znajdował się majdan gospodarczy (ta część założenia zamkowego nazywana jest także zamkiem dolnym lub podzamczem), otoczony murem obwodowym grubości 2 m. Dojście do domu pańskiego na zamku górnym prowadziło przez ten majdan gospodarczy. Drugie, późniejsze podzamcze (o pow. ok. 10 tys. m2) położone pomiędzy zamkiem górnym a prostokątną wieżą "Starościńską", zostało otoczone rozległym murem prawdopodobnie w XVI w. o czym świadczą nikłe fundamenty otworu bramnego poniżej wieży prostokątnej, niewielka grubość całego muru oraz jego rozległość (265 m). W XVI i XVII w. na tym terenie były ulokowane budynki gospodarcze i mieszkalne. Od XIV do XVII w. dojazd do zamku prowadził od strony południowo-wschodniej przez nieistniejący budynek bramny, który znajdował się pod ruiną baszty na skale. Z drogi tej pozostały fundamenty 3 murowanych filarów mostowych oraz otwór wjazdowy w elewacji budynku z XVI lub pocz. XVII w., a także ubytki muru obwodowego z trzema skarpami w pobliżu skały.
Dojazd do podzamcza późniejszego prowadził od strony Olsztynka (dawna osada u stóp zamku), z wjazdem pod prostokątną wieżą "Starościńską". Pod renesansową i późniejszą zabudową zamku znajduje się ogromna jaskinia 10-metrowej wysokości. Jej strop podparto w XVI w. kamienną ścianą - filarem, by nie zawalił się pod ciężarem budowli wznoszonych na szczycie skalnego wzgórza. Z jaskini prowadził tunel łączący się z systemem podziemnych jaskiń i korytarzy pod zamkiem. Poza wspomnianą już jaskinią z tunelem w masywie skalnym, oddzielającym gotycki majdan gospodarczy od późniejszego podzamcza, wykute są dwa wejścia do podziemnych korytarzy i dwie komory. Powierzchnię masywu przecinają liczne kanały prostopadłe do siebie o głębokości od kilku do 150 cm. Z. Lis przypuszcza, iż masyw stanowił fundament zapory drewniano-ziemnej książęcego grodziska, a także gotyckiego zamku Kazimierza Wielkiego. Takie same wyżłobienia znajdują się na dnie fosy od strony północno-wschodniej. Tutaj między XV a XVI w. zapory z drewnianych bali mogły zostać zastąpione kamiennym murem z otworami strzelniczymi dla dział i broni ręcznej. Olsztyn jest przykładem polskiego budownictwa obronnego od XI do XVII wieku. Nie zostało wyjaśnione przeznaczenie rusztowych płytkich kanałów, kutych w litej skale na przedłużeniu wału grodziska książęcego z pocz. XI w. Nie określono też jednoznacznie czasu powstania wieży "Starościńskiej". Niespotykana w Polsce grubość murów, 4-4,6 m, skłoniły autora rekonstrukcji do datowania jej na XII lub XIII w. Możliwe jest również, że prostokątną wieżę łączyło z zamkiem górnym przejście podziemne o dł. ok. 150 m.