A més del Castell, destaca tot el Casc Antic de la Ciutat, el conjunt de muralles han estat construïdes en diferents èpoques, configurant la seva potent imatge de fortalesa inexpugnable. Les muralles es divideixen en tres zones i estructures arquitectòniques i militars diferents. De les tres zones, destaca la muralla renaixentista que constitueix el front de la fortificació.
L'accés principal al castell és per "El Portal Fosc", d'estil renaixentista, va ser l'entrada principal fins al s. XVIII i amaga racons on perdre i poder gaudir de moments en què sembla que el temps s'ha aturat. Sobre la porta principal del Portal Fosc encara podem observar un escut commemoratiu de Felip II.
Des del port o costat sud, pots accedir al nucli antic i al castell per la Porta de Sant Pere, on encara es conserva el seu emblema del Papa lluna qui va ordenar la seva construcció i que dóna a la ciutat un accés per mar. Des d'aquest accés, una mica més amunt arribaràs al "bufador", una cavitat a la roca massissa sobre la qual s'aixeca el castell i en els dies de temporal, quan l'onatge castiga la península, gaudiràs admirant la fortalesa de l'aigua. Compte amb els remullades els dies de mala mar.
La tercera porta a la ciutat, és el Portal de Santa Maria, construïda en 1754, per ordre de Ferran VI, per millorar els accessos a la ciutat. Des d'aquí podràs accedir a la part alta del nucli antic i al seu interior trobaràs la Plaça de "Les Escaseres" que, envoltada per la muralla té al seu costat l'Ermita de Santa Anna, una altra de les visites obligades.