La dotación de bienes para la parroquia de Santa María incluía también un edificio para residencia de los responsables eclesiásticos: la pavordía. Se trata de una edificación que estaba situada a poniente de la iglesia y junto a la calle por donde se accedía a la Almudaina (actual calle de la Soledad), tal y como figura en la escritura de dotación de la Iglesia tendida en Mallorca el 15 de septiembre de 1235.

Con la creación del Obispado en 1782, el antiguo edificio fue acondicionado para residencia episcopal, sufriendo entonces una profunda transformación a la vez que se amplió considerablemente, algunas dependencias de la antigua pavordía quedaron relegadas como almacenes en los bajos del nuevo edificio, conservándose todavía algunas de ellas al lado de la calle de la Soledad. Parece que a estas salas se refiere un documento que, en 1423, las califica como antiguas.

En el siglo XVIII se construyó el piso superior al cual se accede mediante la escalinata adosada a la muralla del castillo, que hasta  hace unos años estaba cerrada por un muro de piedra que fue sustituido, en 1983, por la actual reja de hierro.