Intégrame, el hub de datos en la nube del sector minero energético colombiano

Para las entidades públicas, recopilar, almacenar y comprender a fondo la gran cantidad de información que crean, reciben y procesan les permite comprender mejor y satisfacer las necesidades de su sector, brindar mejores servicios a los ciudadanos, aumentar la transparencia y formular más políticas públicas. . consciente y pertinente.

Los terabytes de almacenamiento de datos por sí solos no hacen que nada sea más valioso. Para poder analizar y aplicar inteligencia para encontrar tendencias, patrones y hacer predicciones, estos datos deben ser refinados, ordenados, interoperables y comprensibles. También es necesario hacer accesible la información al público en general para que tenga un mayor impacto económico y social. Las organizaciones públicas y privadas, la academia y la sociedad civil utilizan datos abiertos de terceros para crear nuevos conocimientos, fomentar la innovación y apoyar la investigación al promover el uso, la reutilización y el intercambio gratuito de conjuntos de datos.

Uno de los principales motores de desarrollo y uno de los productores más importantes del país, el sector minero energético, ha tomado la delantera en la implementación de una plataforma de acceso y manejo de datos colombianos para apoyar esta política y alinearse con las mejores prácticas globales. Poder tomar decisiones informadas y mejorar la comunicación entre los actores del sector es solo uno de los beneficios de contar con una fuente de información unificada, refinada e interoperable para esta industria. También ayuda a Colombia a atraer más inversionistas extranjeros y mejora el diseño de mejores políticas públicas.

El impacto que tiene INTÉGRAME en la industria minero-energética, según el Ministerio de Minas y Energía, va más allá de lo económico y en definitiva tiene un efecto muy positivo en el capital social de la nación. Se pueden tomar mejores decisiones y políticas públicas a la medida de las necesidades de todos y cada uno de los colombianos democratizando y acelerando la generación de información de calidad de nuestro sector en un banco de datos.

El Ministerio de Minas y Energía desarrolló INTÉGRAME utilizando herramientas y servicios de la nube de Microsoft Azure. Es una plataforma de información que agrupa información del sector a través de procesos de interoperabilidad, integración y analítica avanzada, la almacena en un almacén de datos y permite conocer, interpretar y aprovechar información importante para la nación, como la efectividad de producción de energía en las Zonas No Interconectadas – ZNI, datos como el precio, y otras informaciones. El público en general tiene acceso a más de 60 indicadores que describen cada uno un pilar del sector minero-energético de Colombia y ayudan a fortalecer y mejorar las operaciones de hidrocarburos, minería y energía.

Diana María Ochoa, Gerente del Crédito BID, explica que “la idea nació hace más de 10 años durante el boom extractivo. El Gobierno quería asegurarse de tener medidas y bien claras todas las variables que aseguraran la competitividad de Colombia frente a la región. Existía un temor de que los inversionistas prefirieran irse a otros destinos como Perú y Chile debido a que no se tenía suficiente información para tomar decisiones de inversión. Esta coyuntura permitió evidenciar , agrega Diana, las deficiencias del sector en cuanto a gestión de información. De allí surgió la decisión de formular el proyecto y presentarlo al Banco Interamericano de Desarrollo con el objetivo final de modernizar el sector minero energético”. 

Luego de un proceso extenso de revisiones y validaciones del Departamento Nacional de Planeación (DNP) y del Ministerio de Hacienda, en 2016 se dio vía libre a su ejecución. El primer reto fue lograr una convergencia del sector alrededor de este proyecto, pues las entidades que lo conforman trabajaban de manera independiente y la adopción tecnológica dependía de los recursos disponibles de cada una. “ Reunir a más de 200 personas del sector, líderes, tomadores de decisiones, y llegar a un grupo de preguntas de negocio que pudieran mejorar la actividad del sector minero energético de manera estructural a través de la información fue el mayor desafío ”, recuerda Diana María Ochoa.

Intégrame le da sentido a un mar de datos 

Hoy, Intégrame avanza en su fase de implementación con más de 17 fuentes de información, no solo del sector sino de otros actores clave como el DANE, XM, el DNP, el Banco de la República o la Superintendencia de Servicios Públicos Domiciliarios – SSPD. Esta diversidad de fuentes es a la vez una de las grandes riquezas y desafíos del proyecto, pues unificar lenguajes, formatos y periodicidad de la captura de enormes cantidades de información que históricamente ha sido recopilada de distintas formas, implicaba un gran cambio operativo para muchos. Pero los resultados han sido tan positivos para todos los actores del sector, donde ya existe un consenso sobre el valor del proyecto y una cultura de datos consolidada y activa.   

Por su parte, Nancy Ruales, Especialista Técnica del Crédito BID, agrega que “en este proyecto de interoperabilidad el mayor reto no es la tecnología. Contamos con la infraestructura de Microsoft Azure, que nos hace la vida más fácil, pero la mayor complejidad era saber cuál es ese dato que se requiere y dónde está. Saber si existe el dato, quién lo tiene y si están las personas que tengan el conocimiento y la información para contribuir a alimentar el banco de datos ”.  Además, desde el punto de vista técnico, agrega Gustavo Alberto Angulo Especialista Técnico del Crédito BID, “necesitábamos una solución que nos permitiera poder leer cualquier origen sin importar la forma y formato en que la información estuviese dispuesta. Gracias a la arquitectura planteada para este proyecto, podemos conectarnos con cualquier tipo de base de datos, con archivos planos, con repositorios Cloud – OneDrive, SharePoint y diversos repositorios más, incluso hemos logrado acceder a fuentes internacionales tipo Bloomberg. Detrás de todo esto existe un Data Factory, un MDM y diversas herramientas Azure que le dan vida a nuestro banco de datos”. 

Información a un clic de distancia

Cualquiera que haya tratado de extraer información de un datalake sin tener habilidades avanzadas en ciencia de datos sabe que ahí puede haber un gran obstáculo. Por tanto, la idea del proyecto, justamente, era que esta información fuera útil y usable para todos los interesados, así que el siguiente paso era proyectar la data de una manera clara para que los tomadores de decisiones pudieran acceder a ella, interpretarla, entenderla descargarla y usarla. Ahí fue donde Power BI, un aplicativo de visualización de data, hizo la diferencia. Los tableros o “dashboards” permiten filtrar, visualizar y parametrizar la información a la medida de cada necesidad. Con gráficos sencillos y muy explícitos, cada usuario puede extraer la información sin necesidad de ser un experto.

Adicionalmente, herramientas como Azure Machine Learning  permiten a los científicos de datos generar modelos estadísticos y matemáticos para análisis predictivos y prescriptivos que apoyen la toma de decisiones en el sector. Business Insights, una de las “fábricas de software” del proyecto y socio de negocios de Microsoft, ha hecho la magia de volver simple lo complejo y de poner la información a disposición del público con un clic. “ Este proyecto ha sido ambicioso y retador, sin embargo, gracias al gran talento humano que conforma nuestro equipo, sumado a la tecnología correcta y de la mano de Microsoft, pudimos entregar un proyecto de alto impacto al gobierno nacional y la ciudadanía ” afirma Venancio Esquiaqui Felipe, director general de Business Insights, empresa que trabaja con el Ministerio en la construcción y evolución de Intégrame.

Los avances en interoperabilidad determinarán la expansión de este banco de datos del sector minero energético, cuya fase de implementación se extenderá hasta diciembre de 2023. “ Lo que tenemos claro es que este proyecto no finaliza, es evolutivo y en la medida que se presenten más casos de analítica y se integren más datos, seguirá creciendo”, concluye Diana María Ochoa.

Coyunturas recientes como la del precio en las tarifas de energía eléctrica demuestran la enorme utilidad de una plataforma como Intégrame. “Cuando se planteó analizar los componentes unitarios del costo de energía eléctrica, abrimos Intégrame y en un minuto teníamos frente a nosotros el comportamiento histórico del costo unitario y la tarifa aplicada y adicional el análisis por departamentos, por ejemplo. Antes tenían que pasar solicitudes a varias entidades y el proceso tomaba días o semanas. Aquí se ve el valor de una herramienta como estas ”, explica Diana María Ochoa. 

Pero ahí no paran los beneficios: gracias a los datos que hoy registra Intégrame, se puede informar al cualquier inversionista interesado en el sector, e identificar comunidades nómadas y generar soluciones energéticas para ellas, de manera más precisa y eficiente. Así, gracias al poder de la data contenida en Intégrame, el Ministerio de Minas y Energía se pone al servicio del país.