El tiempo y la antigüedad que todo lo consume, nos ha privado de conocer la fundación original de nuestra Cofradía. El historiador D. Antonio Terrones dice que se fundó pocos días después de la aparición de Nuestra Señora y que entraron en la Cofradía casi todos los vecinos de Andújar, así pues, el establecimiento de la Cofradía de la Virgen de la Cabeza tuvo un ilustre y generoso principio en esta ciudad y su fundación fue realizada por gentes nobles de la misma.

Durante todo el siglo XV y siguiente la devoción a la Santísima Virgen irá creciendo pero sin llegar a formar una masiva romería. Tampoco existe documentación de que estuviese constituida la Cofradía que rigiese la exaltación mariana en una fiesta y fecha concreta. La romería quedó organizada bajo la Cofradía por primera vez en 1485. El pueblo nombraba anualmente al Prioste (Mayordomo) a los Alcaldes y a los Diputados para organizarla.

A principios del siglo XVI, esta disposición fue bien vista por el obispo Alonso Suárez que en 1505 ordena y aprueba sus estatutos. De 1552 se conoce el nombre del Hermano Mayor más antiguo, Miguel Jurado, al que siguieron Alonso de Mestanza y Juan Alonso Palomino. De finales de siglo y principios del XVII conocemos la relación de Hermanos Mayores figurando ente ellos la nobleza local.

Muy importante para la difusión de la romería fue la creación de las Cofradías. Las más antiguas son las de Andújar, Arjona, Colomera, Lucena y Córdoba. A lo largo del siglo XVII siguió creciendo su número hasta alcanzar sesenta y nueve a finales de siglo y que, por ser hermanas de la Cofradía principal o matriz, tenían obligación de concurrir a la romería.

Con la llegada del siglo XVII, la romería alcanzó su máximo esplendor convirtiéndose en uno de los acontecimientos sociales y marianos más importante de España, siendo nombrada la Imagen Patrona de más de cien pueblos y llegando su fama incluso a traspasar las fronteras de nuestro país, sobre todo en Iberoamérica.

De este siglo se conserva una perfecta visión de la romería en el relato de D. Manuel de Salcedo Olid, en su "Panegírico Historial de Nuestra Señora de la Cabeza de Sierra Morena", publicado en 1677, en el que se describe con todo detalle el desarrollo de la romería, sus caminos, los enseres de las cofradías, la noche en el Santuario, etc... y se incluye un dibujo de la organización de la Procesión.

La organización de las Cofradías y de la Romería dependía de los Diputados de la Cofradía Matriz a cuyo frente figuraba el Prioste. Para distinguirse, el Prioste vestía roquete y sombrero blanco, banda y báculo rojo; los Diputados banda y báculo rojo y los cofrades túnicas blancas llamadas "alba" y roquete blanco para recogerse el pelo.

Los Diputados se ocupaban de ampliar y reparar el templo, habitaciones y oficinas; dar lugar a las cofradías foráneas, señalar los puntos donde debía coger las andas de Nuestra Señora, disponer la procesión, pedir limosnas y distribuirla entre los necesitados, adecentar caminos y puentes, conservar libros y llaves y hacer que se cumpliesen los estatutos y privilegios.

Las cofradías que asistían cada año a la romería, traían sus tiendas de campaña de lienzo encerado para alojarse, si no tenían casa propia, banderas de colores alegres, estandartes bordados de oro y plata (el peso del de la Cofradía Matriz era tal que necesitaba seis personas para portarlo), así como cetros para los Mayordomos o Hermanos Mayores, música, etc. Durante la noche celebraban misas oficiadas por sus capellanes y la última, a la que asistía la cofradía de Andújar, la oficiaba el Rector del Santuario tras la cual salía la Santísima Imagen en procesión sobre andas de plata, a las que subían dos capellanes con casulla y bordones para proteger a los niños asidos a las andas de la muchedumbre que pretendía tocar la imagen.

En el siglo XVIII, disminuyó el fervor mariano, viniendo a menos la romería. Durante el reinado de Carlos III se disolvieron las Cofradías y en 1773 se prohibió la romería, lo que afectó a la Cofradía de Andújar que perdió la mayoría de sus cofrades, aunque la fiesta romera siguió celebrándose gracias a su carácter netamente popular. Nueve años más tarde el Rey derogó lo dispuesto y volvió a resurgir la tradición.

Durante el siglo XIX, la fiesta en el Santuario dejó de realizarse con motivo de la invasión francesa, al ser traída la Virgen a Andújar y depositada en el convento de San Francisco de Asís para su protección. Tradicionalmente la romería sólo se ha suspendido con ocasión de alguna epidemia, para evitar el contagio debido al gran número de personas que se concentran en el Cerro del Cabezo.