Cuando los datos no confirman lo esperado: el caso de los dispensadores de cloro

Evaluar si un programa de ayuda funciona es difícil. Recopilar datos es caro, los contextos son complejos y los resultados rara vez son blancos o negros. Lo más importante no es acertar siempre, sino tener un sistema que detecte cuándo algo no va como se esperaba para actuar en consecuencia. Esa forma de trabajar —recopilar evidencia de forma continua, contrastarla con fuentes independientes y corregir el rumbo o incluso cerrar un programa si es necesario— es poco habitual en el sector. Sin embargo, describe bien el trabajo de GiveWell, el principal evaluador independiente en el que nos apoyamos para seleccionar los programas que financiamos.

Un caso reciente lo ilustra. En 2022, GiveWell destinó 65 millones de dólares a ampliar un programa de dispensadores de cloro de la ONG Evidence Action en Kenia, Uganda y Malawi. Estos dispensadores se instalan junto a los puntos de agua comunitarios en zonas rurales para que las familias desinfecten el agua que recogen, reduciendo el riesgo de enfermedades diarreicas que son una causa importante de mortalidad infantil.

Evidence Action.

Cuando un estudio independiente en Kenia mostró tasas de cloración más bajas de lo esperado, la propia Evidence Action dio la voz de alarma y acudió a GiveWell. Lejos de minimizar la importancia de los datos, diseñó por iniciativa propia un ejercicio de verificación con encuestadores externos. GiveWell encargó después una encuesta independiente en Uganda y Malawi, y la conclusión fue clara: solo un tercio de las personas que se creía que usaban los dispensadores realmente lo hacían, menos de 2 millones frente a los 5 que sugería la estimación inicial.

¿Qué había fallado? No hubo un único error, sino varios sesgos acumulados. La herramienta de medición era una rueda de colores: si el agua contenía cloro, se teñía de rosa; si no, quedaba transparente. Los tonos intermedios eran muy ambiguos, y su personal de monitoreo tendía a interpretar los resultados en positivo. Cuando se les empezó a exigir que fotografiasen cada prueba, las tasas reportadas cayeron 20 puntos porcentuales. A esto se sumaba un método de selección de hogares que dirigía a los encuestadores hacia los usuarios más comprometidos. En total se identificaron cinco o seis sesgos distintos que, sumados, triplicaron las cifras estimadas de uso.

El cloro se mide comparando el color de la muestra con una rueda cromática. La lectura es subjetiva y puede verse afectada por la luz y el fondo. GiveWell.

Con estos datos, GiveWell estimó que renovar su ayuda al programa sería solo unas 2 veces más coste-efectivo que las entregas directas de dinero, muy por debajo de su actual listón de 8 veces. Esto no significa que el programa no fuera efectivo: beneficiaba a casi 2 millones de personas. Pero GiveWell concluyó que esos fondos podían lograr más impacto destinándose a otros programas. Este tipo de decisiones son difíciles, pero son esenciales para no primar el status quo frente a opciones tal vez mejores, puesto que los recursos disponibles siempre son limitados. Gracias a ese aprendizaje, todas las nuevas ayudas de GiveWell a programas de agua potable incluyen encuestas externas de verificación desde el inicio.

Que la evidencia obligue a corregir el rumbo no es un fracaso: es señal de que el sistema funciona. Además, los resultados de coste-efectividad pueden variar dependiendo de la región. El programa de dispensadores de cloro podría superar el umbral de coste-efectividad en el norte de Nigeria, donde la carga de enfermedad diarreica es mucho mayor. GiveWell ya está financiando programas piloto para comprobarlo.

La labor de investigación y experimentación de GiveWell es esencial. Solo los programas que superan prueba tras prueba y mantienen excelentes ratios de coste-efectividad a lo largo de los años pasan a la categoría que GiveWell denomina top charities. Esa selección extremadamente exigente es la que financiamos desde Ayuda Efectiva con nuestro Fondo de Salud Global.

Puedes escuchar la conversación completa en el episodio del pódcast de GiveWell: Following the Data on Dispensers for Safe Water.