Desde el 2024, en el norte de Chile, se generarán alrededor de 20 terabytes de datos astronómicos por noche. Para que te hagas una idea, esto equivale a la cantidad de datos que genera el telescopio espacial Hubble en 2 años. Esta cantidad de datos se producirán cuando comience a operar el observatorio Vera C. Rubin, ubicado en el cerro Pachón, cerca de Coquimbo, sumándose a los más de 20 observatorios de la región. Esto dejará a Chile con más de la mitad de la capacidad de observación astronómica del mundo.
Podría decirse que nos convertiremos en el Big Boss de la observación astronómica.
Este observatorio, entre otras cosas, planea catalogar el 90% de los objetos que pasan cerca de la tierra y que tengan un tamaño mayor a 300 metros. La idea es evaluar si es que son una amenaza para la vida en la tierra.
Pero no es tan fácil tampoco. Alguien tiene que analizar la inmensa cantidad de datos que se van a generar. Hoy en día la versión renacentista y romántica de la astronomía, donde se miraba con los ojos a través de un telescopio, ha quedado obsoleta. Si una persona desea mirar con sus ojos los 10 millones de imágenes que generará el Vera C. Rubin en una sola noche, ¡se tendría que sentar a mirar durante aproximadamente 1 año y medio!
Aquí es donde entran los brokers astronómicos, y en específico, ALeRCE. En simple: un broker astronómico centraliza y analiza datos de varios telescopios ópticos para que la comunidad astronómica pueda usarlos. Actualmente existen 7 brokers habilitados para analizar los datos que entregue el Vera C. Rubin. El único de ellos en el hemisferio sur se encuentra en Chile y se llama ALeRCE (Automatic Learning for the Rapid Classification of Events o Aprendizaje Automático para la Rápida Clasificación de Eventos).
Según expertos del área, ALeRCE lidera desde Chile la carrera mundial de brokers para el observatorio Vera C. Rubin. En 2019, fue el primero en incluir inteligencia artificial para el procesamiento en tiempo real de datos de observatorios. Además, desde el 31 de mayo fue el primero a nivel mundial en procesar simultáneamente datos provenientes de más de un observatorio.
La historia de ALeRCE
ALeRCE nació el 2017 gracias a un grupo de investigadores liderado por Francisco Förster, de la Universidad de Chile y Guillermo Cabrera, de la Universidad de Concepción, en una colaboración entre el Centro de Modelamiento Matemático de la Universidad de Chile y el Instituto Milenio de Astrofísica. La idea era preparar a Chile para procesar los datos provenientes del Vera C. Rubin.
En un principio, ALeRCE creó una herramienta para visualizar los datos generados por el observatorio Zwicky Transient Facility, llamada Explorer.
Luego, implementó un modelo de inteligencia artificial capaz de identificar posibles supernovas nunca antes vistas: el SN Hunter, una plataforma donde todos los días un grupo de expertos mira los 100 candidatos más prometedores a nuevas supernovas. Con el SN Hunter se han logrado descubrir más de 14 mil nuevas supernovas en los últimos 5 años, convirtiendo a ALeRCE en el tercer grupo que más candidatos ha reportado en la historia de la astronomía. Nada mal, ¿no?
Colaboración Fintual - ALeRCE
ALeRCE es un proyecto interdisciplinario, donde actualmente colaboran más de 20 instituciones, y entre ellas está Fintual. Desde Fintual nos interesa el potencial de manejo de datos que tiene ALeRCE, además de querer apoyar un proyecto que desarrolla tecnología de punta en Chile.
Así fue como el 2021 me contrataron para trabajar part-time en ambos lados. La idea era hacer transferencia tecnológica y encontrar un punto en común entre astronomía y finanzas. Pero cuando empecé con esto me di cuenta que no habían muchas metodologías exitosas para que la academia y la industria colaboraran.
Las más típicas son:
- Consultoras de tecnología dentro de Universidades.
- Universidades creando productos y luego buscando venderlos a la industria (normalmente reciben el nombre de spin-offs).
- Empresas que permiten voluntariados en investigación científica.
- Buscar un objetivo en común entre un proyecto y otro.
La que más nos interesa es esta última, pero hay pocos ejemplos de este tipo de colaboraciones, y aún menos en Chile. En un principio me sentí bien perdido. Durante el primer año estuve simplemente trabajando como desarrollador, turnándome 2 meses en cada lugar, conociendo la cultura y herramientas tecnológicas de cada institución, para saber qué se podía hacer.
Yo hice mi magister con datos de ALeRCE, pero trabajar como desarrollador allí es muy diferente. Me di cuenta de las dificultades administrativas que tiene participar en proyectos académicos con financiamiento proveniente de fondos públicos. Éramos un equipo de 5 desarrolladores, donde yo era el único con contrato con Fintual y el resto trabajaba boleteando gracias a fondos entregados por la Universidad de Chile, el Instituto Milenio de Astrofísica y el Data observatory, entre otras instituciones.
Como primer objetivo me puse la tarea de mejorar tanto las condiciones de contrato como las metodologías de desarrollo ágil y bienestar del equipo de desarrolladores. Con la ayuda de Fintual contratamos una persona para gestionar ALeRCE, buscar fuentes de financiamiento, ver contratos y manejar procesos de entrevista para atraer talento.
Le dimos un empujón a un esfuerzo que venía desde hace años, y gracias al apoyo de las instituciones ya mencionadas (se sumaron también la Universidad de Concepción y la Universidad Mayor), logramos hacer crecer el equipo a 9 desarrolladores, ¡donde 8 tenemos contrato!
Por el lado de metodologías de desarrollo ágil, en ALeRCE adoptamos algunas herramientas de Fintual, como la metodología Shape-up, en que nos adaptamos a ciclos de trabajo de 3 semanas (con semanas intermedias de planificación). Además, incluimos reuniones periódicas entre integrantes del equipo y reuniones 1 a 1 (parecido a una mentoría). Esto nos sirvió como una instancia para proponer mejoras al ambiente de trabajo.
Hace poco empezamos a tener charlas periódicas entre los equipos de datos de ALeRCE y Fintual. Allí nos mostramos cómo funcionan nuestros procesos para el manejo de datos y comentamos posibles mejoras a su diseño e implementación. Pese a lo diferente de los dominios de datos de astronomía y finanzas, y que ALeRCE busca procesar datos en tiempo real, la madurez y conocimiento de herramientas en el equipo de ALeRCE resulta una buena fuente de información y experiencia para problemas comunes a ambas instituciones.
Planes de colaboración a futuro
Puede que hayas terminado de leer todo esto y estés pensando: ¿qué diablos tienen en común astronomía y finanzas?
Bueno, en astronomía trabajamos con series de tiempo de cómo cambia el brillo de una estrella y tenemos muchas herramientas de inteligencia artificial para analizarlas. Queremos tomar estas herramientas y aplicarlas a series de tiempo de datos de Fintual, y ver si podemos mejorar la experiencia al usar la app o sus servicios. Y a través de esta exploración esperamos encontrar o crear una herramienta nueva que nos beneficie a todos.
Ha sido increíble poder trabajar en dos lugares tan cool al mismo tiempo y aprender cantidades astronómicas.
Queremos que esta iniciativa se replique en otras instituciones y que haya en las empresas espacio para que sus trabajadores colaboren con la ciencia no solo desde el altruismo y las donaciones, sino también como una forma de crear valor para sus propias organizaciones.
Créditos fotografía de portada: https://www.nickhallphotography.com/
