Przypuszczalna budowla wieżowa była częścią systemu obronnego na pograniczu ze Śląskiem. Wzniesiono ją w XIV wieku na stromum, z trzech stron otoczonym bagnami wzgórzu wapiennym. Od strony południowo - wschodniej wzniesienie opada łagodnym stokiem, przeciętym półkolistą fosą. Do wieży (o wymiarach 13x11 m)mógł przylegać od tej stronyniewielki (8x7) półkolisty dziedziniec, otoczony murem. Od strony południowo - zachodniej, na odcinku 11 m grubość murów wynosi 2,3 metra (mur budowli mieszkalnej), a reszta, przypuszcza mur obwodowy, nie przekracza 2m. Ściana północno - zachodnia, zbudowana na bardzo stromym zboczu, została wzmocniona w części środkowej dwoma przyporami. Koncepcja wieży nie znajduje pełnego potwierdzenia wynikającego ze stanu ruiny. Jest jedną z hipotez. Istniejące mury wielokrotnie przebudowywane, traktowane w całości jako mury obwodowe obiektu obronnego, mogły w swoim wnętrzu mieścić w XIV i XV wieku budowlę mieszkalną typu bezwieżowego. Wysokość takiego obiektu nie wykraczała poza wysokość murów obwodowych. Jako fortyfikacja budowla przetrwała zaledwie 200 lat. W XIV wieku fortyfikacja była włąsnością nieślubnego syna Kazimierza Wielkiego. W późniejszym czasie Bydlin należał do klucza smoleńskiego. Bonerowie przebudowali obiekt obronny na kościół katolicki. W dobie reformacji nowy właściciel Bydlina, Jan Firlej, zagorzały arianin, zamienił kościół na zbór ariański(ok.1570 r.). W 1594 roku jego syn, Mikołaj, przywrócił obiekt kościołowi katolickiemu. Przeprowadził renowację i nadał kościołowwi nazwę Świętego Krzyża. W 1655 roku Szwedzi zniszczyli kościół. Został on odbudowany ok. 80 lat później. W XVII wieku kościół był wielokrotnie dewastowany w czasie licznych napadów i grabieży dokonywanych przez wojska przyszłych zaborcó. w efekcie został zatarty peirwotny układ fortyfikacji obronnej. W końcu XVII wieku kościół został opuszczony. Stopniowo ulegał ruinie. Rozebrano mur obwodowy. W wewnętrznych partiach murów widać miejsca, w których spoczywały belki stropu kścielnego.
Prowadzone badania archeologiczne w 1989 r. doprowadziły do odkrycja fundamentów masywnej kamiennej budowli bramnej z XIV wieku, połączonej z fundamentami kamiennego muru obwodowego. Odkrycja archeologiczne w Bydlinie zmieniają również typologiczne określenie obiekty. Obiekt posiadający dwie budowle murowane (wieżę lub budynek bramny i dom mieszkalny) połączone wspólnym murem obwodowym, kwalifikują się do określenia jako zamek i tak też fortyfikacja bydlińska jest oznaczona na mapie historyczej, wykonanej w 1990 roku.

Poniżej ruiny, obok drogi w kierunku Załęża, znajduje się cmentarz, na którym pochowano 46 legionistów poległych w walce z armią rosyjską w 1914 roku. W okresie międzywojenym było to miejsce rocznicowych zjazdów weteranów legionowych i wielbicieli Piłsudskiego. Od 1980 roku zwyczaj ten jest kontynuowany.