O edificio onde ten a súa sede o Museo Arqueolóxico Provincial de Ourense, adquirido para este fin en 1951, foi con anterioridade Pazo Episcopal e comezou a ser edificado no primeiro terzo do século XII polo bispo don Diego II (1100-1132), conservando parte do seu núcleo orixinal (no que hai que incluír as partes construídas entre o comezo da obra e o episcopado de don Lorenzo, 1218-1248) ó redor do claustro.

A este centro nuclear fóronselle engadindo sucesivamente elementos góticos (Torre de Santa María), configurando un importante recinto defensivo, con seis torres, que dividían en dous o núcleo urbano de Ourense e ocupaban ata o que agora é o terreo edificable do concello e as edificacións entre este e a Barreira e o Cárcere da Coroa, conxunto desmantelado en tempos da revolución irmandiña (s. XV).

Posteriormente, engadíronse elementos renacentistas (soportal ó xardín, cuartos) e barrocos (portada, patio dianteiro), reforzando todo o conxunto e conformando un monumento singular, que mereceu ser declarado monumento histórico-artístico por Decreto de 3 de xuño de 1931, tendo desempeñado durante toda a Idade Media un papel substantivo na organización urbana de Ourense.

Do primitivo edificio románico consérvase no interior un núcleo de certa importancia, con testemuños como o lintel fundacional, do ano 1132, e unha dobre cruxía cos seus paramentos conservados ata a altura dos beirís, sendo a súa construción paralela á da Catedral de Ourense. Tamén se conservan algunhas torres -unha románica, outra gótica e a base dunha terceira, mentres que outras foron desaparecendo- das que lle deron nome na Idade Media: Torres, pazos e curral do bispo.