Quando nel 1380 fu fondata Pizzo, gli Angiò, cinsero di mura il nuovo villaggio e lo fortificarono con due bastioni, che guardavano sul piccolo seno della Seggiola, ed una torre a tronco di trono, affacciantesi sulla Marina. Appena cento anni dopo, sotto gli Aragona, questa fortificazioni, come tante altre esistenti sulle coste del Reame, si mostrarono insufficienti ad impedire le invasioni turche, che segnarono l'inizio di quella decadenza, a cui Ferdinando I° d'Aragona non riuscì ad opporre un valido riparo, nonostante la sua oculata e preveggente politica.

L'Aragona, rimasto solo contro i turchi, cercò di garantire il suo Reame, fortificando i luoghi marittimi più esposti, e con l'ordinanza del 12 novembre 1480, decretò, per la Calabria, la fortificazione di Reggio e la costruzione di castelli a Crotone, Cariati, Corigliano, Belvedere, Pizzo ed altri luoghi. Per Pizzo fu disposto di aggiungere alla torre angioina già esistente, un massiccio corpo rettangolare, munito di una torre a tronco conico, alquanto più piccola della precedente, e di costruire poco più in basso, a strapiombo sulla Marina, una torretta di guardia. I lavori si protrassero dal 1481 al 1485.

 Il suo principio è stato una torre tonda fabricata ad uso francese, hoggi unita con detto castello, e viene chiamata mastra, e fu ampliata da Ferdinando d'Aragona re di Napoli, al quale li concesse non solo molti giurisdizioni, e privilegi, ma parimenti arricchì delli medesimi la detta città, quali originalmente si conservavano nei libri dello studio del dottor Antonio De Martinis d'essa, e copia in cartapecora dal Sindaco dei Nobili della suddetta, e da maggior parte di quelli si ritrovano in eseget, et ultimo loro furono confirmati da Ferdinando II re, l'anno del Signore 1504 e si tiene notizia che il soprascritto Ferdinando evesse consegnato detto Castello ad Henrico Sanseverino e Carlo suo nipote, in quel tempo conte di Mileto, et hoggi vien denominato, dal suddetto Ecc. Signore Principe di Mileto (duca dell'Infantado), con i medesimi privilegi assieme con la nominata città; di poter entrare dentro di essa, e servirsene del largo posto avanti d'esso e sopra nominato palazo.

Nell'entrare si vede il luogo dove prima stava una porta quale hoggi è mancante e si può ponere; verso la parte di ponente con un ponte di legno levaticcio di lunghezza  di palmi 40 incirca mantenuto da due mura di sotto per dentro suo fosso; si arriva al portone nuovamente fatto di grossa legname, sopra d'esso scolpito in marmo l'insegna di esso Ecc. Signore, al rimpetto dell'entrata una grada di legno con muri attorno dalla parte del basso; a mano destra cinque carceri successivi; alla sinistra un altro carcere grande, ambi con le loro porte e grade; si saglie per una breve scala di pietra nello primo piano dove sta la cisterna d'uso, e comodo d'esso, alla destra altre quattro camere, e un altare, e di rimpetto altre quattro camere, due d'esse vengono occupate dalli castellani, e lo de piu per carcere;