W 1570 r, dobra pilickie od Jana Pileckiego kupił Filip Padniewski dla swego brata, kasztelana oświęcimskiego Wojciecha, który rozpoczął budowę pałacu w Pilicy i w 1620 r. przeniósł się tu ze Smolenia. Budowla Padniewskiego mogła być zlokalizowana w miejscu wcześniejszego obiektu o nieznanej jeszcze funkcji. Odsłonięto jego fundamenty w czasie niedawno prowadzonych badań. Pałac Padniewskiego był budowany w stylu renesansowym. Budowę kontynuował kolejny właciciel, Jerzy Zbaraski. Z jego inicjatywy w pierwszej poł. XVII w. powstała w Pilicy budowla w kształcie włoskiej willi z arkadowym portykiem i największym w Polsce wnętrzem budowli tego typu. Jego konstrukcję wzmacniał system potężnych kolumn. Wielobarwne posadzki układane były z marmuru. Liczne detale architektoniczne zdobiły gzymsy, okna i ściany.
Po Zbaraskich właścicielem Pilicy był Konstanty Wiśniowiecki. W 1636 r. dobra pilickie i smoleńskie wniosła w posagu Stanisławowi Warszyckiemu z Dankowa Helena Wiśniowiecka. Warszycki otoczył pałac potężnymi fortyfikacjami bastionowymi w 1651 r. Zostały one wzniesione na planie prostokąta (300 x 170 m). W narożach umieszczono cztery bastiony, które podobnie jak kurtynowe wały ziemne oblicowane zostały kamiennym murem. Dodatkowo fortyfikację otaczała fosa. Pierwotny wjazd na teren fortyfikacji i pałacu znajdował się po stronie przeciwległej do dzisiejszego. Obecny powstał w wyniku przebudowy systemu komunikacyjnego i budowy parku w XVIII w.
Sam obiekt mieszkalny nie miał charakteru obronnego. W 1655 r. fortyfikację razem z willą zdobyły wojska szwedzkie, ale Warszycki wkrótce ją odebrał. Kolejna właścicielka Pilicy (1 poł. XVII w.), Maria z Wesselów królewiczowa Sobieska, żona króla Jana III rozpoczęła przebudowę pałacu. Dzieło to kontynuował jej bratanek, Teodor Wessel, który założył też 10-hekarowy park na wzór francuski. Kolejnych przeróbek dokonali w 1853 r. Christian August Moes i w 1876 r. - Leon Epstein. Ten ostatni obłożył część fortyfikacji wykładzinami z cegły i ozdobił eklektycznymi wieżyczkami. W latach 1906-1945 pałac należał do rodziny Arkuszewskich. Tuż po wojnie mieścił się tu dom dziecka, a w latach 1957-1985 Państwowy Młodzieżowy Zakład Wychowawczy. Od 1985 r. trwa remont połączony z badaniami archeologicznymi przynoszącymi rewelacyjne odkrycia.