Colombia brinda luz al Ecuador (y esto no tiene nada que ver con apagones)
La escasa de transparencia de Atlas Intel en Colombia ilumina las discusiones sobre encuestas en Ecuador
En este artículo me estoy subiendo en una camioneta que ya arrancó hace rato y está en marcha, pero lo hago desde un ángulo muy específico: creo que en Colombia se está produciendo una conversación sobre encuestas electorales que puede aportar a las discusiones sobre encuestas que normalmente tenemos en Ecuador.
La eterna discusión
Siempre que aparece una nueva encuesta en Ecuador, recrudecen las acusaciones de que las encuestas muestran la realidad que resulte más favorable para quien las contrata. Por cada encuesta que muestra números favorables de aprobación del presidente, hay otra que muestra los mismos números, pero en la dirección contraria. Los ciudadanos terminan casi obligados a decidir entre la fe ciega que confirma sus sesgos y preferencias, y un escepticismo absoluto y desmovilizador.
Compare dos encuestas que salieron en las últimas dos semanas: Comunicaliza y la de Daniel Ivoskus que apareció con el nombre de “RADAR Ecuador”. Ambas son de cobertura nacional, ambas fueron levantadas más o menos en la primera mitad de mayo, y ambas fueron aplicadas a través de entrevistas online, con un libreto programado y semi-estructurado, sin la participación de un entrevistador.
Según Comunicaliza, la aprobación y desaprobación del presidente Daniel Noboa es de 46 y 46 por ciento, respectivamente. Según la encuesta de Ivoskus, es 37 y 58 por ciento, respectivamente. Al preguntarse por qué la discrepancia, el ciudadano común se dice a sí mismo que Comunicaliza es cercana al gobierno mientras que Ivoskus simpatiza con el correísmo, y por lo tanto los números de cada uno tienen sentido perfectamente. La realidad, si acaso importa, seguramente está más o menos entre ambas mediciones, pero finalmente es imposible de conocer. Tal es el estado de la percepción de nuestra industria de medición de la opinión pública.
Lo que está pasando en Colombia
Si usted lee esta newsletter, no tengo que contarle que las elecciones presidenciales en Colombia se realizarán este 31 de mayo, y que los candidatos delanteros son Iván Cepeda, Abelardo De la Espriella y Paloma Valencia. Las encuestas de los últimos meses muestran a Cepeda en primer lugar, a De la Espriella en segundo lugar, y a Valencia en tercer lugar. Pero, y esto es relevante para lo que viene a continuación, la distancia entre De la Espriella y Valencia varía dependiendo de la encuesta, y hay quien dice, todavía hoy, que en realidad Valencia tiene más posibilidades de quedar en segundo lugar y pasar a la segunda vuelta.
El sistema electoral colombiano tiene algunas virtudes como por ejemplo exigir, por ley, que las encuestadoras registradas y aprobadas por el Consejo Nacional Electoral colombiano, pongan a disposición del público sus informes, pero también sus materiales técnicos y sus microdatos —¡los microdatos!— días después de levantadas las encuestas. Así, la comisión técnica del CNE, los investigadores independientes y el público en general, pueden examinar los datos que están detrás de las mediciones que las firmas encuestadoras presentan al público.
Y eso nos lleva a hablar de Atlas Intel.
Este fin de semana, La Silla Vacía publicó un análisis de Pablo Manrique que muestra cosas extrañas y que llaman la atención de la forma como Atlas Intel procesa los datos.
Específicamente, Manrique muestra que Atlas Intel diseña pesos de post-estratificación —en el artículo se les llama “factores de expansión”— aparentemente de manera inconsistente, y de una forma particular que coincide con momentos claves de la carrera electoral, y que han favorecido al candidato De la Espriella.
Expliquemos lo que esto significa.
¿Qué son los “pesos de post-estratificación”? Cuando se hace una encuesta, el encuestador trata de representar a la población objetivo lo más adecuadamente posible. En un ejemplo simple, supongamos que sabemos gracias al censo que la población se divide en términos de género entre 51% de mujeres y 49% de hombres. Supongamos hipotéticamente que la composición de la muestra levantada por una encuestadora es 55% mujeres y 45% hombres, simplemente porque las mujeres son más propensas a responder a las encuestas o algo así. Esto es hipotético. Los hombres, diríamos, están “sub-representados” en la muestra, mientras que las mujeres están “sobre-representadas”.
Si tomamos las opiniones de la muestra en su conjunto tal cual, los resultados van a estar ligeramente sesgados porque las opiniones de las mujeres van a predominar ligeramente por encima de las opiniones de los hombres. Es decir, los resultados van a estar parcialmente afectados por la composición demográfica de la muestra, y no van a caracterizar el estado de la opinión pública “real” enteramente bien.
Para aminorar este problema, el encuestador otorga pesos de post-estratificación a todos los individuos de la muestra, de tal manera que su contribución a los resultados sea proporcional a su representación en el conjunto de la población objetivo. En el caso de nuestro ejemplo hipotético, las mujeres reciben un peso ligeramente menor —porque en la muestra son 55% y según el universo deberían ser solamente 51%— y los hombres reciben un peso ligeramente mayor —porque en la muestra son 45% y según el universo deberían ser 49%. Esto es absolutamente normal y es práctica común.
De hecho, en la vida real, estos ajustes se deben hacer con respecto a varias variables al mismo tiempo: no sólo es necesario garantizar un balance adecuado con respecto a la composición de género sino también edad, nivel de educación, nivel socioeconómico, región geográfica, etc. Está en manos del encuestador decidir cuáles son las variables consideradas para realizar estos ajustes y cómo calcular los pesos. Al final, después de los ajustes, uno termina entonces con un resultado sin ajustar y otro con ajustes, y ambos se pueden comparar.
El artículo de La Silla Vacía muestra, en primer lugar, que Atlas Intel realiza una operación para diseñar pesos que favorece, agresivamente, a Abelardo De la Espriella. Descargué los datos de la encuesta de Atlas Intel realizada entre el 9 y el 15 de mayo (gracias al CNE de Colombia) y la comparación se ve así:
La diferencia entre las estimaciones con y sin pesos para todos los candidatos delanteros muestran que los ajustes afectan positiva y agresivamente a De la Espriella. Aunque usted nunca haya oído antes de estos ajustes técnicos, esto es bastante fácil de entender. La diferencia entre “con ajuste” y “sin ajuste” para todos los candidatos es entre 2 y 4 puntos, mientras que en el caso de De la Espriella, la estimación cambia entre 23,9% y 31,5%. Este último es el dato oficial publicado por Atlas Intel.
En sí mismo esto es curioso. Atlas Intel parece otorgar más peso en la muestra al segmento demográfico o geográfico donde De la Espriella recibe mayor apoyo. Pero lo que muestra La Silla Vacía es aún más interesante.
Según el análisis, los segmentos donde De la Espriella recibe mayor apoyo es en la región de Antioquia y en el grupo entre 45-59 años. Recuerde que el propósito de hacer los ajustes que describimos más arriba es aproximar la distribución de la muestra a la distribución de votantes en la vida real. Por ejemplo, Antioquia representa el 10% de los votantes en Colombia. Por lo tanto, los individuos de Antioquia deberían corresponder más o menos al 10% de muestra y su intención de voto debería contribuir proporcionalmente a la medición en su conjunto.
La Silla Vacía muestra que el porcentaje ajustado de Antioquia en diferentes encuestas de Atlas Intel varía entre 7 y 14%, pero que además Antioquia, donde De la Espriella recibe más apoyo, ha recibido más peso en determinados momentos en los últimos meses.
Dice el artículo, “los ajustes de Atlas le dieron más peso a las poblaciones donde De La Espriella tiene más intención de voto en momentos clave”. Y en otro párrafo:
“La Silla Vacía encontró que Atlas Intel ha variado el universo que representa en sus encuestas de una manera que ninguna otra encuesta hace. Estas variaciones aumentaron la intención de voto de los candidatos de derecha, sobre todo de De la Espriella, y redujeron la de Iván Cepeda en una coyuntura clave de la campaña, justo antes de las consultas de marzo y otra vez en la penúltima encuesta antes de elecciones el 11 de mayo.”
La Parte Honda es una newsletter ocasional sobre política y opinión pública en el Ecuador. Si usted es un lector regular, ¡bienvenido de vuelta! Si usted es nuevo y se encontró con esta publicación en el océano de las redes sociales, espero que lo que ha leído hasta ahora le dé una idea del tipo de conversación que tratamos de tener aquí.
La Parte Honda es para escribir y, sobre todo, pensar en formato largo, sin límite de 280 caracteres. Casi siempre los artículos están basados en datos y tienen un fuerte componente de visualización efectiva de datos para apoyar los argumentos.
Si le agrada lo que lee, le invito a compartirlo.
Si desea recibir los artículos directamente a su correo electrónico, le invito a suscribirse. La suscripción es gratis y se puede cancelar en cualquier momento.
Atlas Intel y volviendo el Ecuador
Atlas Intel opera en diferentes países, y con la excepción de este caso de Colombia donde la ley les obliga a depositar los datos, yo nunca he tenido mucha claridad con respecto a sus métodos.
Raphael Nishimura, investigador especializado en metodología y estadística del Survey Research Center de la Universidad de Michigan, ha señalado durante años estas anomalías que ahora salen a la luz también en el caso colombiano. En el caso de la elección presidencial en Estados Unidos en 2020, Nishimura, también usando microdatos, detectó que la encuestadora, que por cierto a veces se refiere a sí misma como “la encuestadora más certera de los Estados Unidos”, tenía una composición en la muestra sin ajuste que daba 66% Trump y 33% Biden. Después de los ajustes, la firma presentaba una estimación que daba como ganador a Biden 46% vs 51% (¿?). Los ajustes —los pesos— claramente hicieron harto trabajo, pero Nishimura nunca fue capaz de replicar los resultados según la descripción de la metodología proporcionada por la encuestadora. De hecho, en ninguno de los casos Biden siquiera salía como ganador.
Atlas se presenta como una encuestadora que ha acertado en varias elecciones de alto perfil, pero en una busca rápida en Google se pueden encontrar los casos donde sus estimaciones han estado estrepitosamente lejos de los resultados finales. El modelo de negocios, sin embargo, parece consistir en publicar un gran volumen de encuestas garantizando que en varias de ellas puedan acertar, tener una fuerte presencia en redes sociales, y luego publicitar agresivamente los aciertos.
Las lecciones que esto nos deja son pertinentes para el Ecuador.
No existe tal cosa como la producción de encuestas basada estrictamente en criterios técnicos. Desmitifiquémoslo. Las encuestas son herramientas de investigación social utilizadas por profesionales de carne y hueso. De la misma forma que un cuchillo no corta nada por sí solo, el levantamiento de datos requiere de decisiones tanto técnicas como basadas en la experticia y el criterio de quien investiga. Hay varias formas de establecer un marco muestral, hay varias formas de hacer entrevistas, y hay, también, varias formas de ajustar y calibrar las muestras una vez que los datos ya están recogidos.
El algoritmo que se usa para calcular los ajustes es estrictamente técnico, pero el conjunto de variables y los puntos de referencia que se decide considerar depende de la experiencia y el criterio del encuestador.
No hay tal cosa como “dejar que los datos hablen solos”. Dude del analista que le dice que “simplemente está leyendo los datos”, o aquella variante maravillosa que dice, “peléense con los datos, no conmigo”, que equivale a decir, “carezco del criterio técnico para tomar posición y decir si los datos son creíbles o deberían ser cuestionados”.
Los datos, en sentido estricto, siempre se cocinan. Lo más importante no es buscar la receta perfecta, sino ser transparente con las decisiones metodológicas adoptadas. Y como consumidor de encuestas, tenga en mente que las discrepancias siempre pueden tener explicación en esas decisiones. Todo lo demás es especulación.
Deberíamos considerar al propio analista como una variable aleatoria.
Felicidades!