Il primo impianto della fortezza di Vieste è databile al XI secolo per volere del normanno Roberto Drengot conte di Vieste e di Lucera (figlio di Ascletino fratello di Rainulfo Drengot), egli inizio l’attività di fortificazione di Vieste, realizzando le mura e un castello con corpo quadrato e torri cilindriche nel punto più alto della roccia su cui è costruito il nucleo urbano della antica Vieste. Una delle torri cilindriche erette dai normanni ora è inglobata in uno dei bastioni romboidali ed è possibile individuarla vedendo la pianta della fortezza (fig.1), i resti di questa torre sono aprezzabili nella fig. 9. 

Successivamente, nel XII, Vieste e la fortezza-castello furono più volte attaccate dalla flotta Veneziana che causarono ingenti danni. Sembra che l'imperatore Federico II abia dimorato a Visete per circa un mese nel 1239 e, a seguito di questa sua presenza, abbia deciso di fortificare ulteriormente il fortilizio. Nel 1240 l'imperatore svevo diede iniziò alla ricostruzione della fortezza e delle mura del borgo, nell’ambito di un progetto di fortificazione costiera che annoverava numerosi castelli lungo la sponda adriatica, tra questi quello di Termoli e di Vieste. La fortezza fu ulteriormente riattata intorno al 1442 in occasione della visita del re Alfonso I d'Aragona.

Tuttavia la configurazione attuale si deve ad interventi spagnoli attuati tra 1535 e 1559, durante i quali i resti della fortificazione sveva vennero inglobati e trasformati fino a perdere qualsiasi evidenza, vennero realizzati bastioni romboidali con mura scarpate per l'utilizzo di cannoniere. 

La tradizione vuole che l'imperatore svevo abbia soggiornato a Vieste almeno in due occasioni, nel 1239 e nel 1250, già molto se si considera che alcune tra le costruzioni da lui fatte edificare non ebbero mai l'onore di ospitarlo tra le loro mura. Attualmente la fortezza è adibita ad usi militari, non è purtroppo visitabile tranne che nel corso di manifestazioni culturali o mostre d'arte.