El castillo de Eivissa comprende un conjunto de edificaciones situadas en la cima del puig de Vila. Cuando todavía no existían las murallas renacentistas, este recinto junto con la almudayna conformaban una verdadera fortaleza rodeada por una cinta de muralla con 12 torres, que aparece mencionada en las fuentes medievales del siglo XII. Ambos espacios estaban separados por un lienzo interior con una torre que fue demolido al construirse, en el siglo XVIII, los cuarteles proyectados por Simon Poulet.
La planta cuadrangular del castillo con torres en las esquinas recuerda la estructura de los qars islámicos, estructuras fortificadas que representaban el último reducto defensivo de la ciudad. La entrada al castillo estaría situada en el lado de levante, entre las torres II y III, tal vez en el mismo lugar que ocupa la actual.
Las intervenciones realizadas en la casa del Gobernador han permitido conocer el flanco sur del castillo, concretamente el tramo comprendido entre las torres I, VI y VII. En el interior de la torre VI se han documentado estructuras antiguas de la fortificación árabe. En la base de la torre se ven restos arrasados de otra torre o paño de muralla tal vez más antiguos. Sobre estos elementos se levantó, en el siglo XIV, la torre del Homenaje, que es la más alta y mejor conservada de la fortaleza; situada en la confluencia de los recintos del castillo y almudayna, desde ella se domina una amplia perspectiva sobre la costa sur de la isla y el puerto de la ciudad.
La casa del Governador, que ocupa el lado sur del castillo, comprende un conjunto de edificaciones residenciales de los representantes del gobierno. En ella debió alojarse, el rey de Aragón, Alfonso III, durante su breve estancia en la isla el año 1286, según cuenta el cronista Ramon Muntaner. El conjunto no tiene un gran valor artístico aunque conserva algunos elementos de estilo gótico y renacentista. A nivel patrimonial, destaca, sobre todo, el tramo de la fortificación árabe que se conserva entre las dependencias interiores de la planta baja.
