Evaluaciones de impacto con enfoque realista: una aproximación metodológica

Por: Karina Barrios Sánchez*

Quienes diseñan, implementan y operan intervenciones gubernamentales (programas, políticas o estrategias) se enfrentan a la compleja tarea de definir, entre diversas alternativas de intervención, aquellas que muestren resultados en la solución de problemas que enfrenta la población y se ajusten a los diversos contextos. Regularmente, es posible identificar una variedad de opciones para combatir un mismo problema y por eso se debe decidir qué instrumento usar y por qué.

Cuando estas decisiones se basan en evidencia, el avance hacia sus objetivos es más eficiente y, por lo tanto, al país le cuesta menos dinero, es decir, se usan mejor los recursos públicos porque la evidencia ayuda a que no se cometan los mismos errores. De ahí la importancia de la evaluación para informar, en cada etapa de las intervenciones (desde el diagnóstico de las problemáticas que les dan origen, el diseño, los procesos o el impacto de estas), si las decisiones están soportadas por argumentos basados en evidencia, la posibilidad de contar con la valoración de los programas durante todo el ciclo de su operación reduce la incertidumbre sobre el logro de los resultados esperados.

En este sentido, el Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval) es el organismo encargado de evaluar los programas y acciones de desarrollo social del gobierno federal y, con ello, generar evidencia que permita contar con información sólida, confiable y oportuna para valorar los avances y las áreas de mejora de los programas.

El Coneval ha diseñado metodologías de evaluación que consideran tanto el tiempo de implementación de las intervenciones como sus necesidades más urgentes de información, de modo que se han publicado herramientas metodológicas que permiten valorar los avances de los programas en cuanto a su diseño, procesos, desempeño, consistencia y resultados y, como en muchos países, el impacto.

En el caso de las evaluaciones de impacto, éstas permiten identificar el valor público de las intervenciones al estimar el efecto que tienen en la población atendida. Al buscar entender el efecto, estas evaluaciones están fuertemente ligadas con el concepto de causalidad, y utilizan métodos de investigación cualitativos y cuantitativos para afirmar si una intervención produce los cambios esperados. Al evaluar el impacto no sólo se busca identificar los alcances y oportunidades de mejora de una política pública, sino que también es un importante ejercicio de transparencia y rendición de cuentas.

Las evaluaciones de impacto también funcionan como parte de un esfuerzo más amplio por mejorar la toma de decisiones basadas en evidencia. Es decir, cada ejercicio busca retroalimentar a los programas sobre aquellas condiciones que permiten la ocurrencia de un efecto, e incluso identificar los posibles obstáculos que enfrentan para potenciar sus efectos, encausando la toma de decisiones a partir de hallazgos de la investigación.

Sin embargo, las evaluaciones de impacto son producto de procesos complejos, que requieren múltiples factores para su realización. Estos se apoyan principalmente en reunir la información pertinente sobre el programa, la población beneficiaria e indicadores de resultados esperados, con el fin de atribuir un impacto a determinada intervención, controlando variables que no estén directamente relacionadas con el programa. Este proceso funciona mejor cuando existe la voluntad política y el apoyo e interés de las personas que operan los programas.

Recientemente, el Coneval realizó tres evaluaciones a programas presupuestarios de la actual administración: Becas para el Bienestar Benito Juárez de Educación Básica, Sembrando Vida y a la vertiente Apoyo a Festivales Culturales y Artísticos (PROFEST) del programa Apoyos a la Cultura,1 identificando con metodologías cuantitativas y cualitativas cuál es el efecto y cómo ha ocurrido en la población beneficiaria. En el caso de Sembrando Vida y PROFEST, el Coneval implementó un ejercicio innovador al retomar un enfoque realista que considera la heterogeneidad en la que operan los programas para explicar los mecanismos causales de sus resultados.

Estos ejemplos destacan, al menos, dos elementos sobre las evaluaciones de impacto. Por un lado, la importancia de contar con un organismo externo a la operación de los programas, con capacidad técnica que trabaje con quienes operan los programas para acceder a la información que permita identificar las condiciones que posibilitan la ocurrencia de los efectos. Por otro lado, la generación de diseños metodológicos rigurosos e innovadores que se adapten a las particularidades de los programas y que consideren técnicas cuantitativas y cualitativas.

Estas experiencias constituyen colaboraciones exitosas del Coneval en el afán de contribuir a la toma de decisiones basada en evidencia e invitan a fortalecer vínculos institucionales para el desarrollo de evaluaciones.

1  Las evaluaciones de impacto pueden consultarse en la siguiente dirección electrónica: https://www.coneval.org.mx/EvaluacionDS/PP/Politicas/Impacto/Paginas/Evi...

*Coordinadora general de Evaluación del Coneval