Z natury obronne miejsce zabezpieczone stromymi stokami z trzech stron, otoczono murem kamiennym i wykonano przekop, przez który przerzucono zwodzony most. Do zamku wjeżdżało się przez bramę umieszczoną w czterobocznej wieży prosto na dziedziniec, przy którym postawiono piętrowy dwór starosty. Twierdza była rezydencją biskupiego "państwa muszyńskiego" do 1474 roku, kiedy to została niemal całkowicie zniszczona podczas najazdu na Polskę króla węgierskiego Macieja Korwina. Zamek został odbudowany w stylu renesansowym przez Węgrów (nakazem traktatu z 1474 roku zawartego w Starej Wsi). Od tego momentu pełnił wyłącznie funkcję strażnicy. Autorem prowadzonych zmian w wyglądzie budowli był Aleksy z Bardiowa.

Wraz z rozwojem techniki wojskowej ranga zamku stopniowo malała. W okresie rozbiorów nastąpiła jego całkowita degradacja, do czego przyczynili się podobno włoscy kamieniarze (budowniczowie tunelu w Żegiestowie), wysadzając część murów w poszukiwaniu legendarnych skarbów. Do czasów współczesnych zachowały się tylko fragmenty murów od strony południowej, oraz sterczyna ściany graniastej wieży w pobliżu przekopu.
W 1991 i w latach 1997-1998 podczas prac wykopaliskowych, odkryto i zabezpieczono resztki sklepienia oraz mury wieży zamkowej.
Od strony południowej na ruinach zamku stoi na kamiennym postumencie figura Najświętszej Marii Panny, ufundowana przez parafian w 1979 roku. Jest to już druga figura ustawiona w tym miejscu. Pierwsza pochodziła z 1936 roku. Naprzeciw ruin zamku widoczny jest nasyp ziemny, będący pozostałością gródka, zbudowanego prawdopodobnie przez Bolesława Śmiałego w XI wieku, a opuszczonego i zniszczonego pod koniec XV wieku.