Componentes de la arquitectura de un depósito de datos

-------------------------------------------------------------------

Componentes de la arquitectura

Herramientas ETL/ELT

Las herramientas ETL extrae datos de los sistemas de origen, los transforman en un área de preparación y los cargan en el depósito de datos. En ELT, los datos se transforman después de cargarse en el depósito. Una herramienta de marco de procesamiento de datos, como Apache Spark, puede ayudar a gestionar la transformación de los datos.

ELT frente a ETL: ¿cuál es la diferencia? 

Capa de API

Una capa de conectividad para interfaces de programación de aplicaciones (API) puede ayudar al depósito a extraer datos de los sistemas operativos e integrarlos con ellos. Las API también pueden proporcionar acceso a herramientas de visualización y analytics avanzadas.

Capa de datos (o base de datos central)

La capa de datos (o base de datos central) es el centro del depósito de datos. Aquí, el sistema integra y almacena datos de diversas fuentes, como aplicaciones comerciales, listas de correo electrónico, sitios web u otras bases de datos. Esta capa es compatible con pipelines de datos ETL o ELT y utiliza un sistema de gestión de bases de datos relacionales (RDBMS) o una plataforma de almacenamiento de datos en la nube. Las capacidades integradas de gobernanza de datos y seguridad pueden particionar los datos para que los usuarios solo accedan a lo que necesitan.

Los metadatos son datos sobre datos, que describen los datos que se almacenan en un sistema para que puedan buscarse y utilizarse para analytics. Incluye metadatos técnicos (como la estructura de la tabla y el tipo de datos) y metadatos descriptivos (como el autor, la fecha de creación o el tamaño del archivo). Los metadatos  son clave para una gobernanza de datos y gestión de datos eficaces.

Sandbox

Algunos depósitos de datos proporcionan un sandbox, que es un entorno de prueba aislado que contiene una copia de los datos de producción y las herramientas de análisis relevantes. Los analistas y científicos de datos pueden experimentar con nuevas técnicas analíticas en el sandbox sin afectar las operaciones del depósito de datos para otros usuarios.

Herramientas de acceso

Las herramientas de acceso se conectan a un depósito de datos para proporcionar un frontend empresarial fácil de usar. Los usuarios empresariales y los analistas de datos pueden utilizar paneles, aplicaciones y herramientas de visualización de datos para interactuar con los datos y extraer insights. Algunos ejemplos de estas herramientas son Tableau, Looker y Qlik.