Data Warehouse

DW é um repositório central, que coleta, integra e armazena dados de múltiplas data sources de uma organização.

"The single source of truth for an organization across multiple knowledge domains"

É onde os dados que passam por ETLs (Extract, Transform, Load) são armazenados, já tratados/limpos.

É umas das formas mais clássicas/tradicionais de se armazenar dados para análise/OLAP.

Contém dados otimizados para a análise.

Data Sources

As

• Databases. PostgreSQL, SQL Server, Cassandra, MongoDB...
• Files. Arquivos de diversos tipos, desde .csv de extrações manuais até .log de eventos de sistemas.
• Cloud. Dados que estão armazenados em nuvem, tanto por Cloud Providers (como AWS S3) quanto os coletados por SaaS (como Microsoft SharePoint).

DW users

• Business Analysts
• Data Scientists
• Data Engineers

Armazenamento

Data Marts