En los 2000, un equipo de psicólogos sociales estadounidenses, liderado por Philip Tetlock y Dan Gardner, organizó un torneo de pronósticos que duró cuatro años. ¿El objetivo? Fortalecer los organismos de inteligencia y la precisión de sus analistas al emitir pronósticos. El Good Judgment Project (más detalles aquí), como se llamó a la iniciativa, demostró que ciertos analistas agudos, metódicos y de visión sistémica podían predecir con una exactitud milimétrica la ocurrencia de los fenómenos más diversos alrededor del mundo.
Fintualist y lunae advisory quisieron replicar este experimento, pero para ver cómo se comportaba en Chile con sucesos locales. Y, claro, las elecciones presidenciales eran el laboratorio perfecto. De los más de 350 competidores que iniciaron la carrera, encontramos a tres pronosticadores sobresalientes, aunque cada uno muy particular.
Vicente Wilson es un sociólogo especializado en emprendimiento. Él construye puentes relacionales, arma comunidades. También es un comunicador a través de su programa de actualidad política de YouTube, Crónicas de Wilson. “Desde que tengo uso de razón, sigo muy de cerca la política nacional”, afirma Wilson. Este verdadero niño poeta millennial, aunque con alma de boomer, siguió con atención la elección presidencial de 1999 entre Lagos y Lavín, cuando solo tenía 12 años. Vicente fue el Superpronosticador más acertado.
El segundo Superpronosticador, “Mister T”, como se autodenominó, es un economista especializado en finanzas. Trabaja como Portfolio Manager, por lo que su día a día consiste en obtener insights relevantes para tomar decisiones de inversión muy complejas, lo que lo obliga a considerar miles de datos en simultáneo. Mister T mantuvo una filosofía de alto riesgo: “cuando tenía una convicción en los pronósticos del torneo, me la jugué casi siempre por un 0% o un 100%”.
Nuestro tercer Superpronosticador, cuyo alias es Yitilú –porque así le dice a su hija de un año– , es ingeniero comercial y también se especializó en finanzas. Es viñamarino, aunque vive en Puerto Varas. Pronosticador empedernido, Yitilú tiene “dedos para el piano” en esto de las proyecciones, como él mismo dice, un talento que ha aplicado tanto a las mesas de dinero donde ha trabajado como a los resultados de las Copas América.
¿Qué tan bien lo hicieron estos tres concursantes con las preguntas que respondieron religiosamente semana a semana?
Primero, recordemos cómo se mide la precisión de las predicciones, los llamados Puntajes Brier
La persona con el menor puntaje gana. Para el tipo de preguntas que vamos a hacer, el puntaje Brier se saca calculando el promedio del error cuadrático de todos los eventos pronosticados por cada persona, en todas las tandas.
¿Cómo se calcula el error cuadrático? Con la fórmula (fᵢ − oᵢ)² , que mide cuánto difiere la predicción (fᵢ) del resultado real (oᵢ). Cuando un evento sí ocurre, el resultado real en la fórmula (oᵢ) se considera 1, cuando no ocurre es 0.
Al elevar la diferencia al cuadrado, se le da mayor peso a los errores grandes, lo que castiga a las predicciones que están muy lejos de la realidad.
Ahora vamos con un ejemplo real. Los eventos que pronosticaron los concursantes fueron los siguientes y estos son los resultados:
Un concursante con el sobrenombre “El vate loco”en la última tanda del concurso le puso un pronóstico de 30% al evento “Franco Parisi obtiene más del 10% de los votos”.
El evento de que Parisi tuviera más de 10% de los votos sí sucedió entonces o₁ = 1Este sería el error cuadrático de este evento:
(f₁ − o₁)² = (0,30 − 1)² = (−0,7)²= 0,49
Recuerda, mientras más bajo es mejor, 0 es perfecto.
Como referencia, Tetlock y Gardner agruparon la calidad de los pronosticadores según sus promedios de Puntajes Brier anualizados, obteniendo los siguientes tramos:Tabla 1. Calidad de los pronosticadores según el tramo de sus Puntajes Brier
Tabla 1. Calidad de los pronosticadores según el tramo de sus Puntajes Brier
Siguiendo esos parámetros, 21 personas fueron Superpronosticadores (Brier entre 0.097 y 0.15), entendiendo que la muestra de resultados fue muy breve, de tan solo semanas (puedes ver el detalle de todos los puntajes aquí).
Nuestros ganadores , en cambio, obtuvieron puntajes sobresalientes, como muestra la tabla 2.
Tabla 2. Puntajes Brier de los tres Superpronosticadores: Wilson, Mister T e Yitilú
Wilson mejoró su desempeño a medida que se acercaban las elecciones –con excepción de la tanda 4, en la que empeoró–, lo cual es lógico si pensamos que la incertidumbre en torno a los resultados se va disipando a medida que se acerca su fecha de ocurrencia o de no ocurrencia. Mister T, en cambio, mantuvo resultados constantes, excepto en la última tanda, en la que empeoraron significativamente. Por último, Yitilú registró sus mejores pronósticos en la tanda 4, pero empeoró en la tanda final del torneo. ¿Qué ocurrió en cada caso? ¿Por qué mejoraron o empeoraron los pronósticos? Veamos el análisis de cada uno.
¿Qué estrategia siguió cada superpronositcador?
Yitilú, quien obtuvo el tercer lugar en el torneo, fue muy consistente respecto de la baja probabilidad asignada a que un candidato distinto de Kast y Jara ganara la primera ronda, de que Matthei pasara a segunda vuelta y de que Mayne-Nicholls superara a Johannes Kaiser en votos. Lo mismo ocurrió en torno a las preguntas de Artés y ME-O. La tabla 3 muestra en detalle su historial.
Tabla 3. Puntajes Brier del 3er lugar, Yitilú
Como suele pasar en estos torneos, los puntajes más alejados de la realidad se dieron en la tanda 1, cuando los concursantes aún estaban afinando su estrategia de predicción. “Para mí fue fundamental entender los objetivos de cada candidato, la dinámica histórica de Chile y, a través de eso, nuestra cultura actual”, dice Yitilú. Este tipo de aproximación suele ser muy efectiva, aunque es la más difícil de lograr. En vez de acotar el análisis a la campaña, intenta abstraerse para contextualizar la probabilidad de ocurrencia de un fenómeno. Esta mirada sistémica es clave para elaborar pronósticos sólidos.
Otro elemento importante que el concursante resalta es el rol protagónico de la intuición al tomar decisiones. Aunque las ciencias exactas son deductivas —se basan exclusivamente en datos cuantitativos—, el análisis de estrategia requiere también la lógica inductiva, esto es, aquella fruto de la experiencia. Al respecto, Yitilú afirma convencido: “Nunca revisé Twitter ni los mercados de predicciones; creo que eso siempre tiene sesgos importantes que te ensucian la perspectiva, pero sí estaba atento a las encuestas… y de cierta manera, entendía que había algo que no estábamos logrando ver”.
Esa atención a los sesgos y a buscar “lo que no estábamos logrando ver” está en la esencia de estrategias predictivas exitosas. El Red Team Handbook de la University of Foreign Military and Cultural Studies lo explica en detalle.
¿Cómo abordó el desafío Mister T?
La tabla 4 muestra también que los pronósticos iniciales de Mister T distaban de lo que ocurrió en realidad, pese a seguir siendo, en su mayoría, buenos pronósticos. Tal como ocurrió con Yitilú, hubo consistencia respecto de que otro candidato diferente a Jara y Kast ganara la primera vuelta, de que Matthei no pasaría a segunda vuelta y de que Mayne-Nicholls no superaría a Kaiser en cantidad de votos. Asimismo, casi acertó plenamente a las preguntas de ME-O y de Artés.
Eso sí, a diferencia del tercer lugar, Mister apostó por una lógica de “todo o nada”(como él dijo, se jugó casi siempre por un 0% o un 100%), lo que se refleja en los muchos puntajes 0 que obtuvo (ninguna diferencia entre su predicción y lo que pasó en realidad), así como de las predicciones erradas de los resultados de Jara en Los Ríos y de Kast en Los Lagos, ambas con un Brier de 1. Fueron esos dos puntajes los que alejaron a Mister T del primer lugar. Dado que las encuestas no cubrían estos pronósticos regionales, Mister T echó mano de los resultados históricos de votación registrados en Wikipedia.
Tabla 4. Puntajes Brier del 2do lugar, Mister T
Mister T dio un alto valor a las encuestas en su estimación. Dice que “tienen razón en promedio y en cuanto a tendencias generales (salvo La Cosa Nostra de Mayol), pero tienen algunos sesgos que hay que identificar”. En su caso, Mister T pensó que había una “sub-representación del votante ‘anti sistema’, también llamado obligado”. Así, el concursante “ajustaba algo al alza mis estimaciones respecto a Kast, Kaiser y, sobre todo, a Parisi”. De hecho, sus Brier relativos a Kast fueron perfectos y los de Parisi estuvieron en el rango “excepcional” de pronósticos.
Finalmente, tal como hizo Yitilú, Mister T no se dejó seducir ni por Twitter ni por los mercados de predicciones. “Al final” —dice Mister T— “esos son rumores, intereses creados o especuladores”. En su visión, “los datos duros de preferencias (ajustados por sesgo), como las encuestas”, son más confiables. Y remata: “Mucha gente podría apostar a que gana Jara, por ejemplo, pero eso no significa que vayan a votar por ella (se podrían estar hedgeando)”. Deliberadamente, estuvo muy atento a las distorsiones que pudieran sesgar su predicción.
¿Qué estrategia siguió nuestro mejor Superpronosticador, Wilson?
Wilson registró pronósticos perfectos respecto de que otro candidato ganara la primera vuelta, así como sobre las preguntas sobre Matthei y Kast. A diferencia del segundo y del tercer lugar, los pronósticos de Wilson de la primera tanda se mantuvieron relativamente constantes y, además, resultaron bastante acertados respecto de los resultados de Kast y Jara en Los Lagos y Los Ríos, respectivamente.
Tabla 5. Puntajes Brier del 1er lugar, Wilson
Llama la atención que en la tanda 4 Wilson obtuvo peores puntajes, lo cual se debió a su pronóstico de que Artés obtuviera al menos el 1,5% de los votos.
Para llegar a ese nivel de precisión, Wilson dicta una máxima que todos debemos considerar: “Lo más difícil, creo, es diferenciar lo que uno cree de lo que uno quiere”. Cuando se nos pregunta por la probabilidad de un conflicto en Asia podemos estar menos involucrados emocionalmente, pero si se trata de una elección en la que el mismo pronosticador tendrá injerencia, el sesgo es notorio.
Además de que su programa de YouTube lo mantiene constantemente expuesto a diversos análisis políticos, reivindica, como Yitilú, la importancia de la intuición: “Para dar mis pronósticos no me fijé en ningún criterio en particular. Como consumo encuestas habitualmente y tengo en la cabeza los resultados históricos de candidatos por regiones en distintas elecciones, contesté un poco por intuición y, a veces, revisando o corroborando información en Wikipedia”.
Lecciones del Primer Torneo de Superpronosticadores en Chile
Lo primero que debemos tomar en cuenta es que, a diferencia del Good Judgment Project original, este torneo se hizo únicamente durante unas semanas. El ideal sería contar con al menos 12 meses de pronósticos constantes. Dicho eso, sí hay lecciones valiosas que corroboran los hallazgos de Tetlock y Gardner.
Primero, aunque en este caso Mister T obtuvo resultados excepcionales, los pronósticos muy arriesgados —asignar 0% o 100% de probabilidad a un suceso— pueden jugar una mala pasada en los Brier globales, lo que efectivamente ocurrió en las predicciones de Jara y Kast en Los Ríos y Los Lagos.
Segundo, la consideración de los sesgos es fundamental. Los tres superpronosticadores se cuidaron de no seguir “oráculos” como los mercados de predicciones y plataformas que premian la polarización, como Twitter.
Tercero, el contexto es clave. Yitilú y Wilson, sobre todo, dieron importancia al comportamiento histórico de las elecciones presidenciales en Chile y a datos cualitativos que, sin duda, les ayudaron a calibrar sus pronósticos. Esto fue particularmente notorio en el caso de Wilson, el único que se acercó a los resultados reales de Jara en Los Ríos y Kast en Los Lagos.
Cuarto, la intuición debe entrar en la fórmula. Esto es de gran importancia en el contexto actual. Los modelos predictivos son cada vez más sofisticados, alcanzando niveles de automatización que hasta hace cuatro años eran impensables. Sí, los datos cuantitativos y el modelamiento matemático son clave, pero sin una persona que los interprete y sopese a la propia experiencia, pueden dar predicciones muy alejadas de la realidad y que podrían parecer, de buenas a primeras, ilógicos o carentes de fundamentos.
¿Quieres ver los resultados de todos los participantes que clasificaron a la final? Revísalos acá.
