En sus orígenes fue el Obispo Francisco Pérez de Prado y Cuesta quien mandó construir (1745-1752) al renombrado arquitecto turolense José Martín de Aldehuela un colegio de la Compañía de Jesús. Poco después se vería afectado por la expulsión de los Jesuítas de España decretada por el Rey Carlos III.
Por la Real Cédula del 25 de agosto de 1769 de Carlos III pasa a ser "establecimiento de un Seminario Conciliar Real". En 1776 el Obispo Francisco José Rodríguez Chico erige el nuevo Seminario Conciliar Real cuyo titular y patrono son la Purísima Concepción de María Santísima y Santo Toribio Alfonso de Mogrovejo.
A lo largo de los años ha servido como fortaleza y refugio para cientos de turolenses. Lo fue durante la ocupación francesa, a principios del siglo XIX. En la Guerra Civil Española quedó totalmente destruido tras innumerables bombardeos.
En el año 1952 se termina de construir el edificio tal y como lo conocemos en la actualidad en su exterior. En 1985 se comienza la Residencia Sacerdotal y en 1994 el Hostal.
