¿Cómo funciona el depósito de datos?

Los depósitos de datos a menudo utilizan una arquitectura de tres niveles diseñada para transformar datos para analytics:

• Nivel inferior
• Nivel medio
• Nivel superior

Nivel inferior

Los datos fluyen desde múltiples sistemas de origen a un servidor de depósito de datos, donde se almacenan. Tradicionalmente, los datos se mueven a través de un proceso de integración de datos de extracción, transformación y carga (ETL), que utiliza la automatización para limpiar y organizar los datos antes de cargarlos en el depósito.

Debido a que los depósitos de datos almacenan principalmente datos estructurados, la transformación de datos se produce antes de la carga de datos. Algunos depósitos modernos utilizan procesos de extracción, carga y transformación (ELT), que cargan datos en el depósito antes de transformarlos. Este método se usa comúnmente en lagos de datos, que pueden almacenar datos no estructurados y semiestructurados sin requerir formatos estandarizados.

Nivel medio

Este nivel contiene el motor de analytics, a menudo impulsado por un sistema de procesamiento analítico en línea (OLAP). Si bien las bases de datos relacionales tradicionales, incluidos muchos depósitos de datos, pueden almacenar datos multidimensionales (por ejemplo, las cifras de ventas pueden tener varias dimensiones, como ubicación, tiempo y producto), no están optimizadas para consultas multidimensionales.

Los sistemas OLAP están diseñados para consultas complejas de alta velocidad y análisis multidimensionales de grandes volúmenes de datos. Utilizan "cubos" (estructuras de datos multidimensionales basadas en matrices) para permitir un análisis más rápido y flexible en múltiples dimensiones. Los casos de uso comunes incluyen minería de datos, análisis financiero, elaboración de presupuestos y planificación de pronósticos.

Un cubo OLAP con dimensiones para Productos, Regiones de Venta y Trimestres

OLAP frente a OLTP: los sistemas de procesamiento de transacciones en línea (OLTP) capturan y actualizan grandes volúmenes de transacciones en tiempo real de muchos usuarios. Por el contrario, los sistemas OLAP analizan datos que ya se han capturado.

Hay tres tipos de OLAP que uno podría usar en un depósito de datos:

• Procesamiento analítico multidimensional en línea (MOLAP): trabaja directamente con un cubo OLAP multidimensional y suele ser el tipo de análisis de datos multidimensionales más rápido y práctico.
  
  
• Procesamiento analítico en línea relacional (ROLAP): realiza análisis de datos multidimensionales que opera directamente sobre los datos en tablas relacionales, sin primero reorganizarlos en un cubo.
  
  
• Procesamiento analítico híbrido en línea (HOLAP): funciones para crear la división óptima del trabajo entre bases de datos relacionales y multidimensionales dentro de una única arquitectura OLAP.

Nivel superior

La capa final de un depósito de datos proporciona una interfaz de usuario frontend para informes, paneles y análisis de datos ad hoc de datos empresariales. Estas herramientas de business intelligence de autoservicio permiten a los usuarios generar informes basados en datos históricos, visualizar tendencias e identificar cuellos de botella en el flujo de trabajo sin experiencia técnica en ingeniería de datos.