El edificio donde tiene su sede el Museo Arqueológico Provincial de Ourense, adquirido para este fin en 1951, fue con anterioridad Palacio Episcopal y comenzó a ser edificado en el primer tercio del siglo XII por el obispo don Diego II (1100-1132), conservando alrededor del claustro parte de su núcleo original (en el que hay que incluir las partes construídas entre el comienzo de la obra y el episcopado de don Lorenzo, 1218-1248).

A este centro nuclear se le fueron añadiendo sucesivamente elementos góticos (Torre de Santa María), configurando un importante recinto defensivo, con seis torres, que dividían en dos el núcleo urbano de Ourense y ocupaban incluso lo que ahora es el terreno edificable del ayuntamiento y las edificaciones entre este y la Barreira y la Cárcel de la Corona, conjunto desmantelado en tiempos de la revolución irmandiña (s. XV).

Posteriormente, se añadieron elementos renacentistas (soportal al jardín, estancias) y barrocos (portada, patio delantero), reforzando todo el conjunto y conformando un monumento singular, que mereció ser declarado monumento histórico-artístico por Decreto de 3 de junio de 1931, habiendo desempeñado durante toda la Edad Media un papel substantivo en la organización urbana de Ourense.

Del primitivo edificio románico se conserva en su interior un núcleo de cierta importancia, con testimonios como el lintel fundacional, del año 1132, y una doble crujía con sus paramentos conservados hasta la cornisa, siendo su construcción paralela a la da Catedral de Ourense. También se conservan algunas torres -una románica, otra gótica y la base de una tercera, mientras que otras fueron desapareciendo- de las que le dieron nombre en la Edad Media: Torres, palacios y corral del obispo.