Posto a dominio della strada costiera che fu in passato un’importante piazzaforte sotto i bizantini, gli arabi, i normanni, gli svevi, gli angioini e gli aragonesi. Fu risistemato nel periodo viceregnale e sotto i Borbone, ma subì gravi danni durante i terremoti del 1638 e del 1783; fu lasciato in stato di abbandono dopo il disastroso assedio del 1806-1807 subìto da parte delle truppe napoleoniche. Il Castello, oggi in stato di rudere, occupa un plateaux con bella visuale sia sul piccolo golfo del fiume Oliva, sul mar Tirreno, sia sulla valle del fiume Catocastro. La torre mastia ovoidale rivolta a nord-ovest, detta di San Nicola, fu realizzata in età angioina, a giudicare dallo stemma recante i gigli di Francia che vi rimane sopra. In età aragonese il Castello fu riammodernato secondo i dettami di Francesco di Giorgio Martini per resistere ai colpi delle nuove armi da fuoco: le mura furono abbassate e rinforzate, fu costruito un rivellino d’accesso sul lato orientale e realizzato uno spalto che precedeva il fossato. Oggi è quasi interamente conservato il grande bastione rivolto a sud, poggiante sulla viva roccia della rupe.
Il Castello è raggiungibile da almeno quattro sentieri: uno parte dalla Strada Tirrena, poco prima della confluenza con corso Umberto I, un altro incomincia a destra della Chiesa del Carmine, in corso Umberto I, un terzo (Salita San Francesco) si sviluppa dall’antica porta urbica fino a toccare le rovine del complesso francescano sottostanti la torre angioina, un quarto infine parte dalla Chiesa del Collegio (a cui sono annesse le imponenti rovine dell’ex Collegio Gesuitico).