Además del Castillo, destaca todo el Casco Antiguo de la Ciudad, cuyo conjunto de murallas han sido construidas en distintas épocas, configurando su potente imagen de fortaleza inexpugnable. Las murallas se dividen en tres zonas y estructuras arquitectónicas y militares diferentes. De las tres zonas, destaca la muralla renacentista que constituye el frente de la fortificación.
El acceso principal al castillo es por “El Portal Fosc”, de estilo renacentista, fue la entrada principal hasta el s. XVIII y esconde rincones donde perderse y poder disfrutar de momentos en los que parece que el tiempo se ha detenido. Sobre la puerta principal del Portal Fosc todavía podemos observar un escudo conmemorativo de Felipe II.
Desde el puerto o lado sur, puedes acceder al casco antiguo y al castillo por la Porta de Sant Pere, donde aún se conserva su emblema del Papa luna quien ordenó su construcción y que da a la ciudad un acceso por mar. Desde este acceso, un poco más arriba llegarás al “bufador”, una cavidad en la roca maciza sobre la que se levanta el castillo y en los días de temporal, cuando el oleaje azota la península, disfrutarás admirando la fortaleza del agua. Cuidado con los remojones los días de mala mar.
La tercera puerta a la ciudad, es el Portal de Santa María, construida en 1754, por orden de Fernando VI, para mejorar los accesos a la ciudad. Desde aquí podras acceder a la parte alta del casco antiguo y en su interior encontrarás la Plaza de "Les Escaseres" que, rodeada por la muralla tiene junto a ella la Ermita de Santa Ana, otra de las visitas obligadas.