Wybudowano go na krawędzi klifu z widokiem na morze. Początki Zamku sięgają XI wieku, radni Melfi wydali akt w 1059 roku w którym widnieje potwierdzenie istnienia fortecy. Wzmiankę o Zamku widnieje, też w dokumencie darowizny Opactwa Świętej Marii Calena w Peschici do Opactwa w Montecassino nazwanym „castellum quo dicitur Besti”.
W 1442 roku Zamek został zmodernizowany, dzięki królowi Alfonsowi I Aragonowi, który miał walczyć przeciwko wrogim statkom, pływającym przez Morze Adriatyckie. Wprowadzenie broni palnej i rozwój techniki militarnej, nałożył potrzebę budowania o równoległobocznych kształtach murów obronnych z pochyłymi ścianami i strzelnicami. Po najazdach floty omańskiej, Zamek został powtórnie wzmocniony, w tym zachodni wał z 1559 roku, dzięki pomocy wicekróla don Perafan de Ribera. W 1646 roku Vieste nawiedziło potężne trzęsienie ziemi i potrzeba było, wtedy zmodernizować wał północny (1669). Inne części Zamku były zmieniane i odrestaurowywane na przestrzeni dziejów.
Dzisiaj Zamek jest częścią wojskowej stacji radarowej Navel Service i nie można go zwiedzać. Dla turystów otwarte jest tylko kilka sal, w których odbywają się wystawy czy konferencje.
