En 1617 se establecen en Andújar los Padres de la Compañía de Jesús sobre unos terrenos, donde se encontraba la ermita de Santo Domingo, cedidos por Don Francisco Pérez de Vargas (+ 1606), con la condición de que los padres de la Compañía tengan " dos o tres maestros para que enseñen a los niños la doctrina cristiana y leer y escribir y contar. . . y obligados a tener cuatro maestros que enseñen gramática y latín a los hijos de los vecinos y a los demás que la quisieren sin llevarles por ello intereses alguno para lo cual han de hacer en la dicha casa y colegio cuartos generales acomodados con parecer de los patronos que yo nombrare en uno de los cuales sea de leer los principios a los estudiantes mínimos, el segundo a los menores, en el tercero medianos, en el cuarto los mayores y la retórica conveniente para que los dichos estudiantes salgan enteramente instruidos en la dicha latinidad y retórica".
Don Francisco creó un mayorazgo para el mantenimiento de referido Colegio que lo constituía entre otros bienes: 5 olivares, 25 hazas de secano, una viña, una huerta, cuatro casas, un molino de aceite y 31 censos redimibles que rentaban anualmente 77. 434 maravedíes. A pesar de ello el Ayuntamiento contribuyó con 6000 ducados para que las obras se terminaran.
Estos bienes fueron enajenados y vendidos en pública subasta con la expulsión de la Orden en el reinado de Carlos III, pero lo que fue casa conventual y colegio, permanecieron en manos del Ayuntamiento, lo que permitió que se continuara impartiendo enseñanza en él durante algún tiempo.
El edificio inició su función sanitaria a partir de 1844 al convertirse en Hospital Militar, transformándose años después en hospital municipal. A partir de 1869 el Hospital tiene la obligación de atender a los enfermos de los pueblos de su Partido, de acuerdo con la orden dictada en ese año por la Diputación Provincial y desde julio de 1871 es declarado Hospital provincial por la Ddiputación Pprovincial, por lo que su sostenimiento dejaba de ser una preocupación exclusiva del municipio. Esta función sigue teniendo el edificio aunque reducida a la de un simple dispensario.
El edificio ha sufrido obras diversas desde el año de 1765, año de la expulsión de los jesuitas. La organización interna se realiza en torno a un patio de doble piso, de vanos adintelados con amplios marcos de moldura ancha separados por pilastras toscanas.
Destaca en su interior la escalera, tipo imperio, realizada por don Francisco Gómez en el primer tercio del siglo XVII. Su espacio cúbico cubierto con media naranja sobre pechinas decorada con carnosas hojas de estuco. En el segundo piso una segunda cúpula de menor tamaño.
