Il castello, costruito sul lato opposto del castello di mare, è un'antica fortificazione medievale che chiudeva la città sul lato nord e proteggeva il canale che collegava il mar Tirreno al porto. La struttura originaria, di cui rimane solamente la facciata nord-ovest, era composta da un quadrilatero ai quali angoli si ergevano delle torri rettangolari e come cortina mezze torri circolari.
