Automatización del Flujo de Datos para Análisis Estratégico en LPS Energy
El Desafío: Centralizar el caos de datos para pasar de archivos dispersos a un Data Lake automatizado
LPS Energy requería realizar análisis complejos basados en múltiples tablas provenientes de diferentes fuentes públicas. Sin embargo, el equipo se enfrentaba a un proceso altamente ineficiente y desgastante: los usuarios debían descargar manualmente archivos publicados con frecuencias diarias, semanales o mensuales en una gran diversidad de formatos (Access, Excel, CSV, TXT).
Posteriormente, debían consolidar esos datos en hojas de cálculo locales, realizar transformaciones manuales y aplicar fórmulas tediosas para apenas obtener unos pocos KPIs simples. Este flujo demandaba muchísimas horas de trabajo operativo y conllevaba un riesgo crítico: la información no se almacenaba en ninguna base de datos formal, por lo que, con el paso del tiempo, el histórico de datos se perdía irremediablemente, impidiendo análisis comparativos a largo plazo.
La Solución: Ingeniería de Datos Avanzada con Data Lake y Pipelines ETL
Para resolver esta problemática de raíz, diseñamos e implementamos una arquitectura de datos moderna centralizada en un Data Lake dentro del ecosistema de Microsoft Fabric, automatizando por completo los procesos de Extracción, Transformación y Carga (ETL). La solución técnica se estructuró de la siguiente manera:
- Ingesta Automática al Data Lake: Eliminamos las descargas manuales. Ahora, los archivos publicados por el ente público se capturan e introducen automáticamente en el Data Lake apenas están disponibles.
- Pipelines de Procesamiento (Python, PySpark y SQL): Desarrollamos flujos de datos automatizados que leen los formatos heterogéneos, limpian, transforman y estructuran la información de manera eficiente a gran escala, conformando una base de datos histórica robusta y unificada.
- Modelado y Consumo de Datos Flexible: Creamos vistas optimizadas en SQL para facilitar el análisis final y abrimos el abanico de consumo según el perfil del usuario: para analistas avanzados, conexión directa desde Microsoft Excel hacia el Data Lake; para decisiones ejecutivas, tableros dinámicos en Power BI listos para ser distribuidos y consumidos tanto de forma interna como por sus propios clientes.
Los Resultados: Datos Disponibles, Historial Asegurado y Análisis en Segundos
La automatización del flujo transformó la capacidad analítica de LPS Energy:
- Eliminación Total de Horas Muertas: El equipo dejó atrás la rutina tediosa de descargar, copiar y pegar archivos, ganando inmediatez en el acceso a la información.
- Preservación del Activo Más Valioso (El Historial): Toda la información pública quedó salvaguardada en una base de datos formal y centralizada, asegurando que el conocimiento no se pierda con el tiempo.
- Democratización del Dato y Nuevos Servicios: Los profesionales ahora generan reportes avanzados en Excel con un solo clic conectándose al Data Lake, y la empresa sumó valor agregado al poder distribuir tableros interactivos de Power BI directamente a sus clientes.
La Evolución: Agentes de IA que Trabajan sobre el Data Lake
Con los datos ya centralizados y ordenados en Microsoft Fabric, dimos el siguiente paso: sumar automatización con Inteligencia Artificial. Implementamos agentes de IA conectados directamente al Lakehouse de LPS Energy, capaces de entender lo que el usuario necesita y resolverlo trabajando sobre los datos reales de la empresa:
- Análisis y Extracción a Pedido: El usuario describe en lenguaje natural la información que busca y el agente la analiza y la extrae, escribiendo y ejecutando el código necesario en Python o PySpark.
- Creación de Vistas en Fabric: El agente crea nuevas vistas en el Lakehouse a partir de lo que el equipo necesita analizar, sin depender de un desarrollador para cada consulta.
- Reportes Generados en Artifacts: Los resultados se presentan como reportes visuales listos para revisar y compartir, generados por el propio agente.
- Mantenimiento del Modelo de Datos: Las tablas dimensionales del Lakehouse se actualizan mediante notebooks operados por el agente, manteniendo el modelo al día.
- Aprendizaje Colaborativo entre Usuarios: El agente es un entorno compartido por todo el equipo. Cada usuario le va enseñando lo que necesita para su trabajo (criterios, consultas frecuentes, formas de presentar la información) y ese conocimiento queda disponible para el resto, de modo que el agente se vuelve más útil para todos con cada uso.
Capacitación: Un Equipo que Construye sus Propios Agentes
El objetivo no era solo entregar agentes funcionando, sino que el equipo de LPS Energy pudiera crearlos y operarlos por su cuenta. Para eso diseñamos un programa de capacitación de 10 clases en vivo a lo largo de 5 semanas, organizado en tres módulos encadenados y aplicado siempre sobre sus propios datos:
Módulo 1 · Fundamentos
Conexión de Power BI al Lakehouse de Fabric (SQL endpoint, modelo semántico y modos de conexión) y dominio de las herramientas de IA: Claude chat, Cowork para delegar tareas de varios pasos sobre archivos, y Claude Code instalado y funcionando en la máquina de cada participante.
Módulo 2 · Agentes Aplicados a Datos
El núcleo del programa. Cada participante configuró su propio agente conectado a Fabric, resolviendo un caso real de la empresa: traer datos y generar reportes en Excel, crear vistas en producción, actualizar tablas dimensionales mediante notebooks y publicar reportes como página web, con versionado en GitHub y criterios para distribuirlos a los clientes.
Módulo 3 · Proyecto Integrador y Automatización
Todo lo aprendido llevado a un proceso real de negocio: un monitor del Boletín Oficial que extrae las publicaciones del día, genera un resumen con criterios de relevancia y lo envía por correo, puesto en producción para correr sin intervención manual, con registro de ejecuciones, alertas ante fallas y control de costos.
El programa cerró con un backlog priorizado de nuevas automatizaciones definido por el propio equipo: la Inteligencia Artificial dejó de ser un complemento y pasó a ser el eje del trabajo sobre los datos de LPS Energy.