Por: Ec. Deborah Zak (*)
En un reciente discurso ante la Asamblea General, el presidente de la República, Dr. Luis Lacalle Pou, mencionó una frase que luego fue tomada por varias personas: “Datos, no relatos”. Además, el Dr. Ope Pasquet, en su discurso de asunción como presidente de la Cámara de Diputados el pasado 1º de marzo, sugirió que las leyes deberían poder evaluarse técnicamente y “cotejar sus resultados con los propósitos al momento de la redacción”. Reaparece a nivel político algo que no es nuevo: la medición de los resultados de las políticas públicas. Más precisamente, la medición cuantitativa de los mismos en base a los objetivos previstos por dicho proyecto o política.
La medición cuantitativa puede hacerse de dos formas diferentes. Una, más simple, realizando asociaciones entre distintos aspectos, un análisis de lo que pasaba antes y después, o comparando zonas donde se hizo un proyecto con zonas “parecidas” donde no se ejecutó el proyecto. Se obtiene, de esta manera, un análisis de correlación, lo que representa una primera evaluación (muchas veces preliminar y de carácter más intuitivo), pero que no necesariamente significa causalidad. Este último es el enfoque más importante, ya que nos lleva realmente a entender si específicamente el proyecto o política “X” tiene un efecto en determinadas variables de resultados.
Este tipo de evaluación se denomina Evaluación de Impacto. Se trata de una evaluación ex post, que busca cuantificar un efecto causal. La pregunta que se intenta responder es cómo serían los resultados, sobre la población objetivo, si el proyecto no se hubiera llevado a cabo. El problema es que es imposible observar en simultáneo a un individuo, empresa o cualquier entidad beneficiaria del proyecto, en las dos situaciones, con proyecto y sin proyecto, en el mismo momento del tiempo. El desafío es la construcción de un escenario contrafáctico, en donde se construye un “grupo de control”, que no está sujeto a la intervención, pero pertenece a la población objetivo, que sirva para una correcta comparación con los beneficiarios del proyecto. Existen varias técnicas cuantitativas, con gran desarrollo en los últimos 30 años, que permiten estimar este efecto.
Estas metodologías se han utilizado en la evaluación de diversos programas y proyectos. En particular, en el área de infraestructura hay ejemplos de proyectos en la región. Un ejemplo de una situación bien aprovechada es el caso de un proyecto en México, donde impulsaron un programa para asfaltar por primera vez calles residenciales no arteriales. Solo se intervinieron 28 de las 56 vías candidatas que fueron asignadas aleatoriamente debido a restricciones económicas. Luego, en base a información primaria, se comparó ambos grupos (las 28 intervenidas, y las 28 no intervenidas pero que eran candidatas). Este estudio permitió concluir que asfaltar por primera vez calles residenciales apreciaba las propiedades aledañas a las intervenciones.
Para otros proyectos esta situación es difícil de conseguir. Un ejemplo es la evaluación de impacto del proyecto de mejoras a la línea de tren de Belgrano, en Argentina, donde se midió el efecto del proyecto sobre diversas variables de uso y bienestar de los usuarios. El diseño metodológico de esta evaluación implicó la construcción de un contrafactual a partir de un grupo de control sintético que surge del promedio ponderado de otras líneas de tren semejantes a la línea intervenida previo al proyecto en un conjunto de variables.
Estos dos ejemplos dan indicios sobre cómo se debería pensar una evaluación de impacto ex post. En algunos casos, como en el primer ejemplo, el diseño metodológico se puede elaborar previo al inicio del proyecto, de forma de poder luego hacer una evaluación ex post con todas las herramientas necesarias. En otras oportunidades, el grupo de control es necesario crearlo a partir de datos observacionales.
En Uruguay, actualmente, para la realización de los proyectos de infraestructura y de otros programas en general este tipo de evaluaciones no forma parte de los requisitos formales para que se tome la decisión de llevar a cabo el proyecto. Por supuesto que este tipo de evaluaciones son ex post y los resultados solo pueden verse una vez que el proyecto esté instalado. Sin embargo, podría considerarse como requisito la presentación de un diseño metodológico determinado para poder luego abordar una evaluación de impacto. Para que esto se lleve a cabo deben existir capacidades dentro del Estado, además de una cultura de evaluación institucionalizada.
Una reciente encuesta a funcionarios públicos de la Administración Central (2021) realizada por la Organización Nacional del Servicio Civil (ONSC) concluye que un 20% de los funcionarios realiza apoyo técnico o producción de información, sin embargo, solo un 5% trabaja directamente en asesoramiento, monitoreo y evaluación de políticas públicas. Por otra parte, la encuesta pone de manifiesto el poco relacionamiento que tienen los funcionarios con agentes externos a su organismo, así como el bajo uso de fuentes de información para la realización de tareas cotidianas.
A nivel de programas estatales, un ejemplo de éxito en evaluación de proyectos de gestión pública lo ha conseguido el equipo de evaluación de políticas agropecuarias del Ministerio de Ganadería, Agricultura y Pesca, bajo la órbita de la Oficina de Programación y Política Agropecuaria (Opypa). Este equipo viene acumulando capacidades desde 2014. Este es un ejemplo de evaluaciones que se realizan desde dentro de la oficina estatal. Esto es visto como una ventaja según un informe de su autoría, por un lado, porque tienen conocimientos sólidos en el área, y también porque creen que las recomendaciones de mejora y los reportes de evaluación van a ser mejor aceptados si son realizados por gente del mismo ministerio.
Por otro lado, han incorporado socios estratégicos externos, que dan mayores garantías: la Dirección de Gestión y Evaluación del Estado (AGEV) de la Oficina de Planeamiento y Presupuesto (OPP) y el Banco Interamericano de Desarrollo (BID). Además, el equipo busca usualmente la revisión entre pares dando a conocer los resultados de las evaluaciones en seminarios académicos.
Más allá de los informes finales de evaluación y de dónde debería estar institucionalizada la Oficina, ¿qué dice la evidencia empírica sobre cómo responden los formuladores de políticas y proyectos a las evaluaciones de políticas? Recientemente se han realizado distintos trabajos científicos que intentan responder a esta pregunta. Uno, publicado en 2021 en American Economic Review, una de las revistas arbitradas top 5 en Economía, realiza un experimento con 2.150 municipalidades en Brasil. Encuentran que los responsables de la toma de decisiones están dispuestos a pagar para conocer los resultados de las evaluaciones de impacto y además actualizan sus creencias cuando se les informa de los resultados. Además, realizan otro experimento, donde se les informa a los responsables sobre los resultados de una evaluación de una política en concreto (cartas de recordatorios del pago de tributos a los contribuyentes). Encuentran que los alcaldes informados sobre esta política tienen 10 p.p más de probabilidad de implementar el proyecto en comparación con el grupo no informado. Otro trabajo reciente analiza el efecto de entrenar en estos métodos a los hacedores de políticas, y se encuentra que luego de los cursos aumenta la percepción sobre la importancia de la evidencia cuantitativa, aumenta la disposición a pagar por este tipo de estudios y disminuye la disposición a pagar por evidencia de tipo correlación.
En síntesis, es necesario entender a la evaluación como una instancia más del ciclo de vida de las políticas públicas. Es importante porque necesitamos mejorar la efectividad del gasto público, necesitamos saber si los proyectos que se hacen son buenas inversiones, además es útil como herramienta para generar criterios de asignación del gasto público y, sobre todo, es un mecanismo de rendición de cuentas sobre los resultados del proyecto. Es relevante que esa evaluación se prevea en las primeras etapas de inicio del diseño de la política para que luego metodológicamente sea fácilmente aplicable. Y lo más importante, evitar que el informe no quede en un cajón guardado. Existe evidencia comprobada que los tomadores de decisiones que tienen acceso a esta información actualizan sus creencias a la hora de formular políticas.
(*) Economista en AIC Economía y Finanzas.
