La dotació de béns per a la parròquia de Santa Maria incloïa també un edifici per residència dels responsables eclesiàstics: la pabordia. Es tracta d’una edificació que estava situada a ponent de l’església i al costat del carrer per on s’accedia a l’Almudaina (actual carrer de la Soledat), tal com figura a l’escriptura de dotació de l’Església estesa a Mallorca el 15 de setembre de 1235.

Amb la creació del Bisbat el 1782, l’antic edifici va ser condicionat per a residència episcopal, sofrint llavors una profunda transformació a la vegada que es va ampliar considerablement, algunes dependències de l’antiga pabordia quedaren relegades com a magatzems als baixos del nou edifici, conservant-se encara algunes d’elles devora el carrer de la Soledat. Sembla que a aquestes sales es refereix un document que, al 1423, les qualifica com a  antigues.

En el segle XVIII es va construir el pis superior al qual s’accedeix mitjançant l’escalinata adossada a la muralla del castell, que  fins fa uns anys estava tancada per un mur de pedra que va ser substituït, el 1983, per l’actual reixa de ferro.