English

Capítulo 3

La evaluación de proyectos para mejorar el aprendizaje y la formulación de políticas públicas

El objetivo de los programas y políticas de desarrollo es mejorar la calidad de vida de la gente. Entre tanto, el objetivo de la formulación de políticas públicas basadas en evidencia es identificar la intervención más apropiada, hacer un seguimiento de la implementación de un programa y medir si realmente se lograron los impactos previstos. A su vez, la generación de evidencia rigurosa puede mejorar la rendición de cuentas, fundamentar la asignación presupuestaria y orientar las decisiones en materia de políticas públicas. Para ayudar a facilitar la implementación de la agenda de efectividad en el desarrollo, el BID ha institucionalizado la práctica de evaluar las operaciones que financia mediante diversas metodologías.

La mayoría de las evaluaciones de proyecto realizadas por el BID pertenecen a una de tres categorías: análisis de costo-beneficio, análisis de costo-efectividad o evaluaciones de impacto. En un análisis de costo-beneficio se cuantifican los costos y beneficios de un programa en términos monetarios, mientras que en un análisis de costo-efectividad se compara el costo de otras intervenciones similares para lograr un resultado deseado. Con las evaluaciones de impacto se busca determinar los cambios en los resultados que son directamente atribuibles a un programa. El énfasis en causalidad y atribución es su sello distintivo5.

En cerca del 44,5% de los proyectos del sector público aprobados por el Directorio del BID en 2015 se planificó el uso de evaluaciones de impacto (metodologías experimentales o cuasi experimentales) para evaluar sus intervenciones, mientras que en el 47% se incluyó un análisis de costo-beneficio y costo-efectividad (Gráfico 3.1)6.

Como se señaló anteriormente, las evaluaciones de impacto se diferencian de otras formas de evaluación de un programa porque proporcionan evidencia empírica sobre los efectos causales de los programas o políticas en resultados importantes. Solo las evaluaciones de impacto permiten que los formuladores de políticas públicas verifiquen que los resultados obtenidos son específicamente atribuibles a sus programas y proyectos; en otras palabras, pueden verificar si los programas están cumpliendo o no con sus objetivos. Hasta la fecha, la cartera de evaluaciones de impacto consta de un total de 478 evaluaciones que incluyen no solo las de operaciones financiadas por el BID, sino también las de programas que no fueron financiados por el BID. Debido a sus conocimientos y experiencia, el BID a menudo recibe solicitudes para que conduzca evaluaciones de las intervenciones realizadas por sus socios estratégicos.

A diciembre de 2015, el 46% o de todas las evaluaciones (221) se encontraba en la etapa de diseño, mientras que el 16% (76) se había concluido (Gráfico 3.2). Aproximadamente el 2% de las evaluaciones de impacto han sido canceladas. Como se señaló en el DEO 2014, las dificultades y las circunstancias imprevistas a lo largo de la implementación del programa han sido el principal motivo de la cancelación.

Gráfico 3.1
Metodologías de evaluación ex post de los proyectos de préstamos con garantía soberana aprobados en 2015
Gráfico 3.2
Number of Impact Evaluations at IDB by Stage, 1999–2015
Gráfico 3.3
Evaluaciones de impacto por prioridades sectoriales del BID a diciembre de 2015

En materia de prioridades sectoriales, la mayoría de las evaluaciones han sido realizadas por el sector de políticas sociales para la equidad y la productividad (50%); a estas les siguen las del sector de instituciones para el crecimiento y el bienestar social (29%), como se observa en el Gráfico 3.3.

Desde la aprobación del Marco de Efectividad en el Desarrollo (DEF por sus siglas en inglés) en 2008, el porcentaje de proyectos aprobados del sector público para los cuales se han implementado o se implementarán evaluaciones de impacto ha aumentado considerablemente (Gráfico 3.4).

Hasta la fecha se han diseñado, completado o están en curso 351 evaluaciones de impacto de proyectos financiados por el BID7. Para 36 (43%) de las 83 operaciones de préstamo con garantía soberana aprobadas en 2015 se ha planificado una evaluación de impacto, versus solo nueve proyectos (9%) aprobados durante el primer año del DEF en 2008. En los últimos dos años ha disminuido el porcentaje y número de proyectos aprobados que son objeto de evaluación de impacto.

Dado que se trata de ejercicios costosos, es importante orientar los recursos hacia proyectos donde tales estudios sean más beneficiosos. Tal es el caso de los proyectos en que se han identificado brechas de conocimiento considerables, los proyectos piloto que eventualmente podrían llevarse a escala y los grandes proyectos donde la rendición de cuentas es crucial. El diseño de una evaluación de impacto debe tener en cuenta no solo el impacto deseado del programa sino también factores como la disponibilidad de datos, el momento de su realización, la logística y el costo.

Después de que se estableciera el DEF, tanto el Banco como sus contrapartes en los países han considerado sistemáticamente la posibilidad de llevar a cabo una evaluación de impacto en una etapa temprana, durante el diseño de cada proyecto. Esto ha aumentado la conciencia que existe sobre sus beneficios y, en la medida en que se ha seleccionado una metodología de evaluación adecuada, ha fortalecido el compromiso de todas las partes involucradas. Por ejemplo, en algunas evaluaciones es necesario identificar a los grupos de control (o de comparación), incluso antes de que un proyecto comience. Además, la decisión sobre cómo, cuándo y qué evaluar puede variar de un proyecto a otro. Por ejemplo, no en todas las evaluaciones apoyadas por el Banco y sus países miembros prestatarios se pueden conducir experimentos aleatorios o de asignación aleatoria, considerados la metodología de evaluación más rigurosa.

Gráfico 3.4
Porcentaje y número de proyectos aprobados que incluyen evaluaciones de impacto

La asignación aleatoria implica distribuir a los beneficiarios potenciales en un grupo de tratamiento y uno de control (comparación). Esto garantiza que, en promedio, los grupos sean idénticos y que otros efectos atribuibles a factores externos al proyecto se pueden separar de los atribuibles específicamente al mismo. En algunos de los proyectos que figuran en las páginas siguientes, el exceso de demanda de los servicios que se ofrecen facilitó el uso de la asignación aleatoria. Por ejemplo, en Chile se ofreció aleatoriamente admisión en un programa extracurricular a niños entre los 6 y los 13 años, mientras que en la evaluación en Venezuela se ofreció la admisión temprana en el programa de música infantil y juvenil más conocido del país.

Las metodologías cuasi experimentales, entre ellas el diseño de regresión discontinua y el pareamiento por puntajes de propensión, constituyen alternativas a los experimentos aleatorios cuando se trata de identificar un grupo de control.

En un diseño de regresión discontinua, un aspecto específico del programa permite distinguir en el grupo de tratamiento y del contrafactual, es decir, un grupo de comparación que permita a los evaluadores estimar los resultados — positivos o negativos — de lo que podría haber ocurrido si el programa no se hubiera implementado. Por ejemplo, en Perú, un programa agrícola destinado a erradicar la plaga de la mosca de la fruta se llevó a cabo solo en zonas geográficas seleccionadas debido a las limitaciones de financiamiento. Así pues, se identificó a un grupo de control entre los agricultores en las áreas aledañas afectadas por la plaga que sembraron los mismos cultivos, pero que no eran elegibles para el programa porque no residían en la zona donde este se estaba implementando.

En el caso del pareamiento por puntajes de propensión, el grupo de control se construye a partir de una muestra de no beneficiarios cuyas características observables sean similares a las de los beneficiarios del programa. En otras palabras, con base en la información disponible se empareja un “clon” no beneficiario con cada beneficiario de la intervención. Por ejemplo, características de la empresa como son el tamaño, el empleo y el sector contribuyeron a identificar “clones” en una evaluación de un programa de desarrollo productivo en Argentina, aunque tales empresas diferían, por ejemplo, en su motivación para participar en el programa.

Todos los conocimientos que el BID ha adquirido sobre evaluación de impacto desde 2008 han sido centralizados en una plataforma web conocida como el Portal de evaluación del BID. Este sitio contiene diversos recursos, instrumentos y recomendaciones que los usuarios pueden consultar y adaptar a sus necesidades específicas. Además, en 2015 el BID desarrolló un módulo dentro de la plataforma del Banco para monitorear las operaciones con garantía soberana a fin de llevar a cabo un seguimiento de todos los insumos de las evaluaciones de impacto. Todos los documentos de trabajo relacionados con estas se encuentran disponibles en línea en el sitio de publicación del BID. El Banco también ha desarrollado una serie de seminarios y cursos conocida como la Serie de Efectividad en el Desarrollo, a través de la cual se busca promover el intercambio de conocimientos sobre evaluación de impacto entre el personal del BID y las autoridades gubernamentales. Los especialistas del Banco incorporan todo este conocimiento en las operaciones de la institución cuando diseñan proyectos futuros.

Después de todos estos años de implementar evaluaciones de los programas, y de documentar y compartir sus hallazgos, se han identificado ciertos obstáculos recurrentes.

Cuando se lleva a cabo una evaluación de impacto, los equipos a menudo se enfrentan con importantes desafíos, y los factores que influyen en el éxito de una evaluación son de diversa naturaleza. En el Recuadro 3.1 se presentan cinco lecciones aprendidas sobre la mejor forma de evaluar el impacto de un proyecto de desarrollo.

En este capítulo se presenta una selección representativa de 12 evaluaciones de proyectos concluidas recientemente sobre una gran diversidad de temas en las cuales se utilizan diferentes metodologías en contextos específicos. Estas ponen de relieve el interés que tienen tanto las autoridades del país como el BID en aprender lo que funciona y lo que no funciona; esto con el fin de mejorar tanto la efectividad de las intervenciones de desarrollo a las que prestan apoyo como la correspondiente formulación de políticas públicas. La primera evaluación proviene de Haití, donde el equipo de proyecto se enfrentó a diversas dificultades para llevar a cabo un riguroso análisis de costo-beneficio de un proyecto de infraestructura. La siguen reseñas de 10 evaluaciones de impacto experimentales y cuasi experimentales, comenzando con la de una intervención para apoyar a empresas argentinas, y finalizando con la de un programa musical ampliamente conocido en Venezuela. El Capítulo 3 cierra con una evaluación en la que se utiliza un tipo de metodología diferente — un meta-análisis — para evaluar el uso de la tecnología en el aula. Este ejemplo muestra cómo el análisis de evaluaciones de impacto rigurosas sobre un tema particular — si bien en contextos diferentes — pueden producir recomendaciones de mejores prácticas para diseñar e implementar un programa. En otras palabras, estas historias ilustran no solo si un programa ha tenido impacto, sino también cómo hacerlo más efectivo.