Esta Corporación encuentra sus raíces en los albores del Siglo XVI, cuando en la Iglesia de San Pedro Apóstol, se comienza a dar culto a una imagen de la Santísima Virgen en su advocación de los Dolores. Ya en el Siglo XVII, conocemos las primeras noticias de la Cofradía como corporación bien organizada, convirtiéndose pronto en la asociación de fieles de mayor pujanza y esplendor de la localidad. Se trataba de una Hermandad “de entierro”, que procuraba a sus hermanos, asistencia espiritual, cera, mortaja, oficio de sepultura y un número de misas, estipulada en sus Constituciones.
Del siglo XVIII se conservan gran número de documentos y testamento en el Archivo Histórico Provincial, en los que se dejan mandas y legados a favor de la cofradía de Dolores.
La primero noticia fidedigna documentada sobre la cofradía de los Dolores, hallada hoy, procede del testamento de José Torres Conejo el 9 de mayo de 1752, aunque podemos suponer que la fundación de la misma se sitúa en la segunda mitad del siglo XVII, hacia el año 1652, coincidiendo con la época en que a Pizarra se le asigna cura propio y se independiza de Álora en materia eclesiástica, es entonces cuando la iglesia se erige en parroquia. Nos apoyamos en esta hipótesis en el dato de que el 25 de julio de 1785, esta cofradía, emprende su segundo libro de cuentas (conservado en el archivo de la catedral de Málaga legajo 729 Pizarra), las fechas que este abarca de 65 años, hace pensar que el anterior abarcase un periodo de tiempo similar, teniendo en cuenta que el segundo libro está incompleto.
Daba culto a su Sagrada Titular, la Virgen de los Dolores, en el altar situado , frente de la entrada principal de la parroquia, junto al Santísimo Sacramento. Poseía además sacristía propia distinta a la de la parroquia. Dolores y Santísimo, una misma junto a la de Ánimas llegaron a ser las más pujantes de Pizarra. La imagen pertenecía a la escuela malagueña del barroco, de tamaño inferior al natural, mirada baja en directa comunicación con el fiel y manos entrelazadas.
En el mes de octubre de 1761, reforma sus estatutos, en ellos destacan las normas referidas al número cerrado de 90 hermanos todos ellos hombres que podían agregar a esposa, hija o sobrina, aunque estas no podían asistir a los cabildos, ni figurar en el censo de hermanos, a los pasos en vivo de la que era su principal organizadora e impulsora a los actos de semana santa y del viernes de Dolores. Se celebraba cabildo anualmente en el mes de julio, donde se representaba el estado de cuentas y se trataban de los proyectos más urgentes de la hermandad, destacando los referidos a la venta o restauración de las caretas de los pasos, así como la elección de entrada de los nuevos hermanos al mayor número de votos y la renovación de los cargos de hermano mayor y del albacea, quienes junto al cura eran los principales responsables de la hermandad.
En el cabildo del 25 de julio de 1786 se aprobó que enseguida se componga la carta de la capilla con tejado doble y se compre forro para el manto de la Virgen. Investigar los cabildos de la Virgen de los Dolores nos lleva a conocer el desembolso que la hermandad tenía que hacer cada año para semana santa, como es el caso del que se celebró el 29 de julio de 1789 donde viene reflejado que se pagó 430 reales por la función de los Dolores con misa cantada sermón y cuatro procesiones con las de semana santa. La Virgen de los Dolores posesionaba el jueves Santo, junto al Nazareno, el viernes junto al Entierro y a las 12 de la noche en la procesión de la Soledad de Nuestra Señora, la procesión oficial de las mujeres vestida de riguroso luto. Durante la procesión un grupo de hermanos pedían con tazas también llamados en otros documentos cepo, para sufragar los gastos. La cuarta procesión se celebraba de manera esporádica y tenía lugar el día de su festividad, el viernes de Dolores. La asistencia a los cultos y a las procesiones de los hermanos era obligatoria pudiendo multar con 2 reales al hermano que no lo hacía.
Tuvo buena relación con la hermandad de Ánimas, mucho de sus hermanos pertenecían a ambas. En sus estatutos se indica que si alguno fallecía y pedía que la de Ánimas le hiciese el entierro, la hermandad de los Dolores al día siguiente procedía a realizar la vigilia y la misa cantada con responso y pondrá en forma de túbulo 12 hachas de cera, hasta completar el importe destinada a sepelios. Así ocurrió con Dña. Isabel Gertrudis Montero y Josefa de Rosa, fallecidas en 1789 y cuyos gastos de cera y misa con responso sumó un total de 204 reales. Según sus normas, costeaba los gastos de sepelio a los párrocos y cuando un hermano mayor y albacea morían en el ejercicio de su cargo, le acompañaba el estandarte sin ningún dinero junto a los dos cirios hasta llegar a la parroquia.
El tema de la muerte es uno de los más tratados en las constituciones de la hermandad y en este contexto es en el que hay que analizar el papel de la hermandad como mutualidad de entierros anticipándose aún el tiempo a lo que luego van a ser las compañías de seguros. Tenemos que tener en cuenta que entre las motivaciones que llevan a un individuo a inscribirse en una hermandad estaba además de la devoción el deseo de verse atendido en el momento de su muerte. Los hermanos de esta hermandad de Dolores que lo solicitasen podían ser sepultados con la túnica de la hermandad, pero a cambio tenían que donar el importe de una túnica nueva.
El auge de esta cofradía en el siglo XVIII, queda patente en un documento que refleja la importancia de esta hermandad en 1796, hallado en el archivo de la catedral y que dice lo siguiente:
«Don Antonio Gervasio Estébanez, Pertiguero y contador recaudador de las mesas capitulares de los reales subsidios que deben pagar al estado eclesiástico de la villa de Pizarra en el año 1796:
Hermandad del Santísimo 16MR
De Dolores 146 MR
De Ánimas 219 MR
Santo Rosario 42 MR
Hospital 462 MR
Un beneficiado 4 ducados y 89 MR
Cura 1 ducado y 677MR
Sacristía 560MR
Libro de fábrica 20MR
………………………………………………………………………………………………….
Existían más hermandades en Pizarra, pero al no citarse en este documento, nos hace pensar que o bien se mantenían de las limosnas de sus devotos o dependían directamente de la vía parroquial, ya que el pago de los reales subsidios, eran unos impuestos cuya cuantía venía determinada por el número de hermanos y los bienes inmuebles que la iglesia y sus cofradías tenían, procedente del testamento de sus hermanos.
La cofradía de los Dolores como se ha ido comentando era la principal impulsora de las representaciones de los pasos en vivo, según las constituciones el hermanos más joven representaba el sacrificio de Abrahán. Estas representaciones fueron durante la última década del siglo XVIII y la primera mitad del XIX, así viene reflejado en el cabildo de 1792, cuando Sebastián de Reina queda obligado a representar a Caifás siempre que se ejecuten los pasos de la pasión de nuestro señor. Este hermano de los Dolores fue elegido en 1803, mayordomo de la hermandad.
Durante los 20 primeros años del siglo XIX, la hermandad de los Dolores sufre una crisis interna. En 1815, el cura propone borrar a los hermanos tibios para evitar la ruina de la hermandad en 1817, 1818 y 1819 no salió la imagen en procesión y en 1818 no se instaló el tablao para representar la pasión, todo ello hace que el 12 de marzo de 1820 D. Pedro de Ortega, cura teniente de Pizarra fuera quien llamase a cabildo a los hermanos que componían la hermandad para levantarla al antiguo estado en el que se hallaba y sostener el culto y demás conforme y con arreglo a las constituciones que la regía. Dos años más tardes es el cura quien costea los gastos del culto de la Virgen, la procesión del Viernes de Dolores y de la Soledad.
Se sabe que los pasos se siguen representando hasta 1850 y que el culto a la Virgen se fomenta y consigue superar hasta llegar a una nueva situación de esplendor a principios de siglo XX.
Tras lo acontecido alrededor de la Guerra Civil, el patrimonio local eclesiástico es dañado, por lo que en 1941, los Condes de Puerto Hermoso, donarán al pueblo de Pizarra la imagen mariana de una dolorosa.