Ingeniería de datos
Data Lake
en inglés: Data Lake
Un repositorio que guarda archivos en su formato original —CSV, JSON, Parquet, imágenes— sin decidir de antemano qué estructura tendrán. La estructura se aplica cuando alguien los lee, no cuando se guardan.
Un data lake —lago de datos— es almacenamiento barato donde tiras archivos tal como llegaron y decides después qué hacer con ellos.
La diferencia real con el almacén
Se resume en cuándo defines el esquema.
| Data warehouse | Data lake | |
|---|---|---|
| Cuándo se define la estructura | Al escribir | Al leer |
| Qué acepta | Datos tabulares y limpios | Cualquier archivo |
| Costo por terabyte | Alto | Bajo |
| Quién lo usa a diario | Analistas, BI | Ingenieros, ciencia de datos |
En el almacén, si el dato no cabe en el esquema, no entra. En el lago entra todo y el problema se traslada a quien lo consulte.
Por qué eso es una ventaja y una trampa a la vez
La ventaja: no tienes que saber hoy qué preguntas vas a hacer en dos años. Guardas los eventos crudos del sitio y el día que alguien quiera analizar algo que nadie previó, los datos ahí siguen.
La trampa: un lago sin catálogo, sin dueños y sin control de calidad se convierte en un pantano de datos. Miles de archivos que nadie sabe qué contienen ni si son confiables. Y un dato en el que nadie confía vale lo mismo que no tenerlo.
Formatos: guarda en Parquet, no en CSV
El CSV es texto plano: no sabe de tipos, no comprime y se lee completo. Parquet guarda por columnas, comprime muy bien y trae el esquema adentro. Mismo dato, una fracción del espacio y consultas mucho más rápidas.
import pandas as pd
df = pd.read_csv("ventas.csv")
# Parquet conserva los tipos y pesa mucho menos.
df.to_parquet("ventas.parquet", compression="snappy")
# Y al leer puedes pedir solo las columnas que necesitas.
solo_lo_necesario = pd.read_parquet(
"ventas.parquet", columns=["region", "total"]
)Lakehouse
Formatos como Delta Lake, Iceberg y Hudi le agregan transacciones y control de versiones a los archivos del lago. Con eso obtienes garantías de almacén sobre almacenamiento de lago, y a esa combinación se le llama lakehouse.